무료 AI 도구 뒤에 숨겨진 위험: ChatGPT 및 기타 LLM이 안전하지 않은 이유

챗봇이 비공개인 척하지 마세요.

보안팀은 여전히 개발자가 공개 챗봇에 독점 코드를 붙여넣는 것이 주요 위험인 것처럼 "ChatGPT를 신중하게 사용해야 한다"고 이야기합니다. 이러한 프레임워크는 시대에 뒤떨어진 것입니다. 진짜 문제는 구조적인 문제입니다. ChatGPT, Gemini, Claude 및 오픈 웨이트 어시스턴트와 같은 대규모 언어 모델(LLM)은 결정론적 소프트웨어가 아닙니다. 이들은 데이터를 통해 학습하고 패턴을 기억하며 바이너리처럼 패치가 아닌 언어를 통해 조작할 수 있는 확률론적 시스템입니다. 이 점만으로도 'LLM 보안'은 또 다른 앱 보안 체크리스트가 아니라 독자적인 보안 영역입니다. (SentinelOne)

기업 내부에도 끈질긴 거짓말이 있습니다: "내부 브레인스토밍을 위한 것일 뿐, 아무도 볼 수 없다"는 말이죠. 현실은 그렇지 않습니다. 감사 노트, 법률 초안, 위협 모델, 수익 예측 등 내부 데이터는 보안 승인 없이 매일 공개 또는 유료 AI 도구로 복사되고 있습니다. 최근 기업 AI 사용에 대한 연구에 따르면 직원들이 민감한 코드, 내부 전략 문서, 고객 데이터를 개인 또는 관리되지 않는 계정에서 ChatGPT, Microsoft Copilot, Gemini 및 유사한 도구에 적극적으로 붙여넣고 있는 것으로 나타났습니다. 기업 데이터는 HTTPS를 통해 환경을 벗어나 회사가 소유하거나 제어하지 않는 인프라에 저장됩니다. 이는 가상의 위험이 아니라 실제 데이터 유출입니다. (Axios)

다르게 표현하자면, 경영진은 "어시스턴트에게 도움을 요청하고 있다"고 생각합니다. 실제로는 감사할 수 없는 불투명한 컴퓨팅 및 로깅 파이프라인으로 기밀 정보를 지속적으로 스트리밍하고 있는 것입니다.

"LLM 보안"의 실제 의미

"LLM 보안"은 종종 "나쁜 프롬프트를 차단하고 모델을 탈옥하지 않는 것"으로 잘못 이해되기도 합니다. 이는 아주 작은 부분입니다. 공급업체, 레드팀, 클라우드 보안 연구자들의 최신 지침은 더 광범위한 정의로 수렴되고 있습니다: LLM 보안은 모델, 데이터, 실행 표면 및 모델이 트리거하도록 허용된 다운스트림 작업을 엔드투엔드 방식으로 보호하는 것입니다. (SentinelOne)

실제로 보안 경계는 여러 곳에 걸쳐 있습니다:

• 데이터 학습 및 미세 조정. 오염되거나 악의적인 샘플은 공격자가 조작한 특정 프롬프트에서만 트리거되는 백도어 동작을 심을 수 있습니다. (SentinelOne)
• 모델 가중치. 정교하게 조정된 모델의 도난, 추출 또는 복제는 해당 모델의 메모리에 내장된 IP, 경쟁 우위 및 잠재적으로 규제 대상인 데이터를 유출합니다. (SentinelOne)
• 프롬프트 인터페이스. 여기에는 사용자 프롬프트, 시스템 프롬프트, 메모리 컨텍스트, 검색된 문서, 도구 호출 스캐폴딩이 포함됩니다. 공격자는 이러한 계층에 숨겨진 지침을 삽입하여 정책을 무효화하고 데이터 유출을 강제할 수 있습니다. (OWASP 재단)
• 액션 표면. LLM은 점점 더 플러그인, 내부 API, 청구 시스템, DevOps 도구, CRM, 재무 시스템, 티켓팅 시스템을 호출합니다. 손상된 모델은 잘못된 텍스트뿐만 아니라 실제 변화를 유발할 수 있습니다. (해커 뉴스)
• 서비스 인프라. 여기에는 벡터 데이터베이스, 오케스트레이션 런타임, 검색 파이프라인, "자율 에이전트"가 포함됩니다. 에이전트 시스템은 프롬프트 인젝션이나 데이터 중독과 같은 기본 LLM 위험을 상속받은 다음 에이전트가 행동할 수 있기 때문에 그 영향력을 증폭시킵니다. (Inovia)

Wiz와 다른 클라우드 보안 연구자들은 이를 "풀스택 문제"라고 설명하기 시작했습니다: AI 인시던트는 이제 고전적인 클라우드 침해(데이터 도난, 권한 상승, 재정적 악용)처럼 보이지만, LLM 속도와 LLM 표면 영역에서 발생합니다. (Knostic)

규제 당국도 이를 따라잡고 있습니다. 미국 국립표준기술연구소(NIST)는 이제 적대적인 ML 행동(프롬프트 주입, 데이터 중독, 모델 추출, 모델 유출)을 추측성 연구 주제가 아닌 AI 위험 관리의 핵심 보안 문제로 취급하고 있습니다. (NIST 간행물)
참조: NIST AI 위험 관리 프레임워크 그리고 적대적 머신 러닝 분류법(NIST AI 100-2e2025).

"무료"에 대한 불편한 진실

무료 LLM은 자선 단체가 아닙니다. 사용자 유치, 고부가가치 도메인 프롬프트 수집, 제품 개선, 기업 상향 판매로의 전환 등 경제성은 간단합니다. 여러분의 프롬프트, 버그 찾기 방법론, 인시던트 보고서 초안 등 모든 것이 다른 사람의 모델을 위한 연료가 됩니다. (사이버 뉴스)

직장 내 AI 사용에 대한 보고에 따르면, 업로드되는 민감한 자료의 상당 부분에는 미공개 코드, 내부 규정 준수 언어, 법적 협상 언어, 로드맵 콘텐츠 등이 포함되어 있습니다. 내부 통제를 피하기 위해 개인 계정을 통해 업로드하는 경우도 있는데, 이는 이제 데이터가 사용자가 아닌 다른 사람의 보존 정책에 의해 관리된다는 것을 의미합니다. (Axios)

이는 세 가지 이유에서 중요합니다:

1. 규정 준수 노출. 의료 데이터(HIPAA), 재무 예측(SOX), 고객 PII(GDPR/CCPA) 등 규제 대상 데이터를 법적 테두리 밖의 인프라로 유출하고 있을 수 있습니다. 이는 감사에서 즉시 발견할 수 있습니다. (Axios)
2. 기업 스파이 위험. 모델 추출 및 반전 공격은 점점 더 정교해지고 있습니다. 공격자는 LLM을 반복적으로 쿼리하여 학습 메모리 또는 독점 로직의 스니펫을 재구성할 수 있습니다. 여기에는 민감한 코드 패턴, 유출된 자격 증명, 내부 의사 결정 규칙 등이 포함됩니다. (SentinelOne)
3. 감사 가능한 보존 경계가 없습니다. UI에서 '채팅 내역'을 지운다고 해서 데이터가 사라지는 것은 아닙니다. 많은 서비스 제공업체가 어떤 형태의 로깅 및 단기 보존(어뷰징 모니터링, 품질 개선 등을 위해)을 공개하고 있으며, 플러그인/통합 서비스에는 사용자가 볼 수 없는 자체 데이터 처리 기능이 있을 수 있습니다. (사이버 뉴스)
   참조: 무료 AI 도구의 숨겨진 위험 그리고 LLM 보안 위험에 대한 SentinelOne.

간단히 요약하자면, VP가 위협 모델을 '무료 AI 비서'에 붙여넣는다는 것은 계약, DPA, 보존 SLA 없이 가장 민감한 자료의 타사 프로세서를 생성하는 것입니다.

위협 모델링해야 하는 10가지 활성 LLM 보안 실패 모드

대규모 언어 모델 애플리케이션에 대한 OWASP 상위 10위와 최근의 AI 사고 보고는 같은 불편한 현실로 수렴됩니다: LLM 배포는 이미 프로덕션 환경에서 공격을 받고 있으며, 그 공격은 알려진 클래스에 깔끔하게 매핑됩니다. (OWASP 재단)
참조: LLM 애플리케이션을 위한 OWASP Top 10.

이 표는 "미래의 작업"이 아닙니다. 모든 라인은 이미 SaaS, 금융, 국방 및 보안 도구 전반의 프로덕션 시스템에서 관찰되고 있습니다. (SentinelOne)

섀도 AI는 이미 이론이 아닌 실제 사고 대응 작업입니다.

대부분의 조직은 내부적으로 AI가 어떻게 사용되고 있는지 완벽하게 파악하지 못합니다. 직원들은 감사 요약, 규정 준수 정책 재작성, 고객 커뮤니케이션 초안 작성 등을 조용히 공개 LLM에게 요청합니다. 문서화된 여러 사례에서 민감한 내부 보안 문서가 관리되지 않는 개인 계정에서 ChatGPT 또는 유사한 서비스에 붙여넣기되어 사실상의 사고 검토를 촉발했습니다. 이러한 검토는 침해가 확인되었기 때문이 아니라 법무팀과 보안팀의 답변이 필요했기 때문에 몇 주 동안 포렌식 시간을 소비했습니다: "우리가 방금 계약하지 않은 공급업체에 규제 대상 데이터를 유출한 것은 아닌가요?"라는 질문에 답해야 했기 때문입니다. (Axios)

레거시 DLP로 해결할 수 없는 이유:

• ChatGPT 또는 이와 유사한 도구에 대한 트래픽은 일반 암호화된 HTTPS처럼 보입니다.
• SSL 차단을 통한 전체 즉시 검사는 대부분의 회사에서 법적으로나 정치적으로 위험합니다.
• 로컬 브라우저 제어를 강제하더라도 이제 많은 AI 기능이 다른 SaaS 도구(문서 편집기, CRM 비서, 이메일 요약기)에 내장되어 있습니다. 사용자가 AI인지도 모르는 'AI 기능'을 통해 데이터가 유출될 수 있습니다. (Axios)

이러한 현상을 흔히 "섀도우 AI"라고 합니다. 이 이름은 오해의 소지가 있습니다. 직원들은 무모한 것이 아니라 거버넌스보다 더 빠르게 움직이고 있을 뿐입니다. 섀도 AI를 섀도 SaaS처럼 취급하세요. 단, 이 SaaS는 사용자를 기억할 수 있다는 점이 다릅니다.

보안 엔지니어를 위한 최소한의 방어 플레이북

오늘날의 보안 스택으로 다음과 같은 제어가 가능합니다. 공상 과학 소설은 필요 없습니다.

프롬프트를 신뢰할 수 없는 입력으로 처리

• '시스템 프롬프트'(모델에 대한 정책 및 동작 지침)를 사용자 입력과 분리합니다. 신뢰할 수 없는 입력이 시스템 정책을 재정의하지 않도록 하세요. 이는 프롬프트 인젝션과 "모든 이전 규칙 무시" 스타일의 탈옥에 대한 첫 번째 방어선입니다. (OWASP 재단)
• 나중에 검토할 수 있도록 고위험 프롬프트를 기록하고 다르게 설정하세요.

응답을 신뢰할 수 없는 출력으로 처리

• 모델에서 생성된 SQL, 셸 명령, 수정 단계 또는 API 호출을 직접 실행하지 마세요. 그렇지 않다는 것이 입증될 때까지 모든 모델 출력은 공격자가 제어한다고 가정하세요. OWASP에서는 이를 안전하지 않은 출력 처리라고 부르며, 이는 최상위 계층의 LLM 위험입니다. (OWASP 재단)
• 정책 시행, 샌드박싱 및 허용 목록을 통해 모든 LLM 트리거 동작을 강제로 적용합니다.

제어 모델 자율성

• 청구, 프로덕션 구성, 고객 기록 또는 신원/자격 데이터를 수정할 수 있는 모든 상담원은 영향력이 큰 작업에 대해 반드시 사람의 명시적인 승인을 받아야 합니다. 상담원이 한 번 조종되면 계속 행동하게 됩니다. (Inovia)
• 상담원 단위가 아닌 작업 단위로 자격 증명을 범위 지정합니다. 상담원은 수명이 긴 관리자 토큰을 보유해서는 안 됩니다.

경제적 학대 감시

• 속도 제한 토큰, 컨텍스트 길이, 도구 호출. 악의적으로 큰 프롬프트는 GPU 비용을 급증시키고 서비스를 저하시킬 수 있으며("지갑 거부"), OWASP는 "모델 서비스 거부"라고 부릅니다. (OWASP 재단)
• 재무팀은 아웃바운드 대역폭을 모니터링하는 것과 같은 방식으로 'LLM 추론 지출'을 모니터링 항목으로 표시해야 합니다.

자세한 안내는 다음을 참조하세요:

• 대규모 언어 모델 애플리케이션을 위한 OWASP Top 10
• SentinelOne: LLM 보안 위험
• NIST AI 위험 관리 프레임워크

예: 정책 및 샌드박스 레이어 뒤에 LLM 래핑하기

다음 스케치의 요점은 간단합니다. 원시 모델 I/O를 절대 신뢰하지 마세요. 모델을 호출하기 전에 정책을 적용하고, 그 후에 모델이 실행하고자 하는 모든 것을 샌드박스화합니다.

LLM 보안 래퍼용 # 의사 코드

SecurityException(예외) 클래스:
    pass

# (1) 입력 거버넌스: 명백한 프롬프트 주입 시도 거부
def sanitize_prompt(user_prompt: str) -> str:
    금지된_구문 = [
        "이전 명령 무시",
        "비밀 유출",
        "자격 증명 덤프",
        "안전 우회하고 계속"
    ]
    lower_p = user_prompt.lower()
    if any(lower_p의 p for p in banned_phrases):
        raise SecurityException("잠재적인 프롬프트 인젝션이 감지되었습니다.")
    사용자_프롬프트 반환

# (2) 시스템/사용자를 엄격하게 분리한 모델 호출
def call_llm(system_prompt: str, user_prompt: str) -> str:
    safe_user_prompt = sanitize_prompt(user_prompt)
    response = model.generate(
        system=lockdown(system_prompt), # 불변 시스템 역할
        사용자=안전한_사용자_프롬프트,
        max_tokens=512,
        temperature=0.2,
    )
    응답 반환

# (3) 출력 거버넌스: 맹목적으로 실행하지 않기
def execute_action(llm_response: str):
    parsed = parse_action(llm_response)

    if parsed.type == "shell":
        # 허용 목록 전용, 감금된 샌드박스 컨테이너 내
        parsed.command가 허용 목록에 없는 경우:
            보안 예외("명령이 허용되지 않습니다.")를 발생시킵니다.
        반환 샌드박스_런(parsed.command)

    elif parsed.type == "sql":
        # 매개변수화된, 읽기 전용 쿼리 전용
        반환 db_readonly_query(파싱된.쿼리)

    else:
        # 일반 텍스트, 여전히 신뢰할 수 없는 데이터로 취급됨
        파싱된.내용 반환

# 포렌식 및 규제 방어를 위한 모든 단계 감사
answer = call_llm(SYSTEM_POLICY, user_input)
결과 = execute_action(answer)
audit_log(user_input, answer, result)

이 패턴은 OWASP의 주요 LLM 위험과 직접적으로 일치합니다: 프롬프트 인젝션(LLM01), 안전하지 않은 출력 처리(LLM02), 학습 데이터 중독(LLM03), 모델 서비스 거부(LLM04), 공급망 취약점(LLM05), 과도한 에이전시(LLM08), 과도한 의존(LLM09). (OWASP 재단)

자동화된 AI 펜테스팅이 적합한 경우(펜리전트)

이쯤 되면 'LLM 보안'은 거버넌스 극장처럼 들리지 않고 다시 공격적인 보안으로 보이기 시작합니다. "우리 모델이 안전한가?"라고 묻는 것이 아닙니다. 노출된 API나 인터넷에 노출된 자산을 테스트하는 것과 똑같은 방식으로 통제된 방식으로 이를 깨뜨리려고 시도합니다.

이것은 틈새 시장입니다. 펜리전트 는 AI 기반 시스템(LLM 앱, 검색 증강 생성 파이프라인, 플러그인, 에이전트 프레임워크, 벡터 DB 통합)을 마법의 상자가 아닌 공격 표면으로 취급하는 설명 가능한 자동화된 모의 침투 테스트에 중점을 두고 있습니다.

구체적으로 펜리전트 같은 플랫폼이 그렇습니다:

• 내부 도우미를 대상으로 프롬프트 인젝션 및 탈옥 패턴을 시도하고 어떤 패턴이 성공했는지 기록하세요.
• 신뢰할 수 없는 프롬프트가 내부 '에이전트'를 속여 재무, 배포, 티켓팅 등의 권한이 있는 API를 누르도록 유도할 수 있는지 살펴보세요. (Inovia)
• 데이터 유출 경로 조사: 모델이 이전 대화 또는 PII, 비밀 또는 소스 코드가 포함된 학습 데이터에서 메모리를 유출하나요? (SentinelOne)
• "지갑 거부" 시뮬레이션: 공격자가 병적인 프롬프트를 전송하는 것만으로 추론 비용을 급증시키거나 GPU 풀을 포화시킬 수 있을까요? (OWASP 재단)
• 각 성공적인 익스플로잇을 구체적인 비즈니스 영향(규제 노출, 사기 가능성, 비용 폭증)과 엔지니어링 및 경영진이 조치를 취할 수 있는 해결 지침으로 매핑하는 증거 기반 보고서를 생성합니다.

이는 대부분의 조직이 여전히 다음과 같은 기본적인 질문에 답하지 못하기 때문에 중요합니다:

• "외부 프롬프트로 인해 내부 상담원이 권한 있는 청구 API를 호출할 수 있나요?"
• "모델이 고객 PII와 매우 유사한 학습 데이터의 일부를 유출할 수 있나요?"
• "누군가 다음 달에야 재무부가 알아차릴 수 있는 방식으로 GPU 요금이 폭등하게 만들 수 있을까요?" (OWASP 재단)

기존의 웹 펜테스트는 이러한 흐름을 거의 다루지 못합니다. 자동화된 LLM 인식 펜테스팅은 정책 슬라이드의 'LLM 보안'을 실제 검증 가능한 증거로 전환하는 방법입니다.

보안 엔지니어를 위한 즉각적인 다음 단계

1. 인벤토리 LLM 터치포인트. 조직에서 LLM이 어디에 있는지 분류하세요:
   • 퍼블릭 SaaS(ChatGPT 스타일 계정)
   • 공급업체 호스팅 "엔터프라이즈 LLM"
   • 자체 호스팅 또는 미세 조정된 내부 모델
   • 인프라 및 CI/CD에 연결된 자율 에이전트
     새로운 공격 표면 맵입니다. (Axios)
2. 퍼블릭 LLM을 외부 SaaS처럼 취급하세요. "관리되지 않는 AI 도구에는 비밀이 없다"는 문구를 제안이 아닌 정책으로 작성해야 합니다. 무료 AI 도구를 공개 포럼에 게시하는 것과 똑같이 취급하도록 직원을 교육하세요. 한 번 공개 포럼을 떠나면 유지 관리가 불가능합니다. (사이버 뉴스)
3. 사람 뒤에서 영향력이 큰 행동을 제어하세요. 돈을 이동하거나, 구성을 변경하거나, 기록을 파기할 수 있는 모든 AI 에이전트는 영향력이 큰 단계에 대해 반드시 사람의 명시적인 승인을 받아야 합니다. 타협을 가정합니다. 봉쇄를 위해 구축하세요. (Inovia)
4. 릴리스에 LLM 인식 펜테스팅을 포함하세요. 고객이나 직원에게 'AI 어시스턴트'를 제공하기 전에 적대적 테스트 패스를 실행하세요:
   • 프롬프트를 주입합니다,
   • 비밀을 추출합니다,
   • 플러그인 권한을 에스컬레이션합니다,
   • 스파이크 비용.
     외부 API 펜테스트를 처리하는 것처럼 취급하세요.

플레이북을 위한 추천 참고 자료

• 대규모 언어 모델 애플리케이션을 위한 OWASP Top 10 - 커뮤니티에서 LLM과 관련된 위험(프롬프트 주입, 안전하지 않은 출력 처리, 학습 데이터 중독, 서비스 거부, 공급망, 과도한 대행사, 과잉 의존)에 대한 등급을 매겼습니다. (OWASP 재단)
• NIST AI 위험 관리 프레임워크 - 는 적대적 프롬프트, 모델 추출, 데이터 중독, 모델 유출을 단순한 연구 호기심이 아닌 보안 의무로 공식화합니다. (NIST 간행물)
• SentinelOne: LLM 보안 위험 - 프롬프트 인젝션, 훈련 데이터 중독, 에이전트 손상, 모델 도용 등 실제 공격자 기법에 대한 지속적인 카탈로그를 제공합니다. (SentinelOne)
• 무료 AI 도구의 숨겨진 위험 - 기업 내 무료 AI 사용의 데이터 거버넌스 및 보존 실태를 살펴보세요. (사이버 뉴스)
• 펜리전트 - AI 시대 인프라를 위해 설계된 자동화된 침투 테스트: LLM, 에이전트, 플러그인 및 비용 표면.

최종 요점

LLM 보안은 선택 사항이 아닙니다. 이는 사고 대응, 비용 관리, IP 보호, 데이터 거버넌스, 프로덕션 안전을 한 번에 해결할 수 있는 기능입니다. 위협 모델링 없이 ChatGPT를 "그저 무료 생산성 도구"로 취급하는 것은 2025년에 엔지니어에게 "어차피 내부 정보"라는 이유로 일반 텍스트 자격 증명을 이메일로 보내도록 허용하는 것과 같습니다. 무료 AI는 공짜가 아닙니다. 데이터, 공격 표면, 그리고 결국 포렌식 시간으로 비용을 지불해야 합니다. (사이버 뉴스)

보안을 책임지고 있다면 더 이상 "우리는 AI를 하지 않습니다."라고 말할 수 없습니다. 조직은 이미 AI를 사용하고 있습니다. 이제 남은 선택은 감이 아닌 증거를 통해 안전하게 수행하고 있음을 증명할 수 있는지 여부입니다.