AI 용어집 · 기초 · AI 보안
OWASP LLM Top 10 LLM 애플리케이션 10대 보안 위험
OWASP LLM Top 10은 LLM을 쓰는 앱·서비스에서 특히 자주, 크게 문제가 되는 보안 위험 10가지를 비영리 보안 커뮤니티 OWASP가 정리한 목록이다.
무엇인가
OWASP는 웹 보안 분야에서 오래 활동해 온 비영리 커뮤니티로, 웹 애플리케이션의 주요 위험 목록으로 잘 알려져 있다. LLM이 챗봇·에이전트·검색 서비스에 널리 들어가자, 기존 웹 보안 목록만으로는 잡기 어려운 새 위험을 따로 정리한 것이 LLM Top 10이다. 각 항목마다 어떤 위험인지, 어떤 식으로 공격이 일어나는지, 어떻게 줄일 수 있는지를 설명한다. 기술 변화에 맞춰 항목과 순서가 주기적으로 개정된다.
어떤 위험이 들어 있나
대표 항목으로는 모델을 속여 원래 지시를 무시하게 만드는 프롬프트 인젝션, 개인정보·기밀이 답변에 섞여 나가는 민감 정보 노출, 학습 데이터나 모델에 나쁜 내용을 심는 데이터·모델 포이즈닝이 있다. 모델의 출력을 검사 없이 다른 시스템에 넘겨 생기는 문제, 에이전트에 너무 많은 권한을 줘서 생기는 과도한 자율성도 포함된다. 시스템 프롬프트 유출, 벡터 DB·임베딩의 약점, 그럴듯한 오정보, 끝없이 자원을 쓰게 만드는 무제한 소비, 외부 모델·라이브러리를 통한 공급망 위험도 다룬다. 정확한 항목 이름과 순서는 판마다 달라질 수 있으니 최신판을 확인하는 것이 좋다.
대표 항목으로 보는 점검 질문
입력·데이터
- 프롬프트 인젝션에 속지 않는가
- 학습·검색 데이터가 오염되지 않았는가
- 벡터 DB·임베딩에 약점은 없는가
출력·정보
- 민감 정보가 답변에 섞이지 않는가
- 시스템 프롬프트가 새어 나가지 않는가
- 출력을 검사 후 다른 시스템에 넘기는가
- 오정보를 걸러 낼 장치가 있는가
권한·운영
- 에이전트 권한이 필요한 만큼인가
- 자원을 끝없이 쓰지 못하게 막는가
- 외부 모델·라이브러리 출처를 확인했는가
왜 중요한가
LLM 서비스를 만드는 팀은 보안 전문가가 아닌 경우가 많아서, 무엇부터 점검해야 할지 막막하기 쉽다. 이 목록은 개발자·보안 담당자·기획자가 같은 말로 위험을 이야기할 수 있는 공통 기준이 된다. 보안 점검표, 레드팀 시나리오, 가드레일 제품 설명에서 이 목록의 항목을 기준으로 삼는 경우가 많다.
알아 둘 점
목록은 '가장 흔하고 중요한 것'을 고른 것일 뿐, 모든 위험을 담지는 않는다. 서비스마다 다루는 데이터와 권한이 달라서 위험의 크기도 다르므로, 자기 서비스에 맞게 우선순위를 다시 정해야 한다. 또 하나의 항목을 막는 단일 해법은 드물고, 권한 최소화·입출력 검사·모니터링을 여러 겹으로 쌓는 방식이 일반적이다.
예시
사내 문서를 검색해 답하는 RAG 챗봇을 출시하기 전에, 보안팀이 OWASP LLM Top 10 항목을 점검표로 삼아 검토하는 경우가 많다. 예를 들어 '문서 안에 숨긴 지시문으로 챗봇을 조종할 수 있는가(프롬프트 인젝션)', '권한 없는 직원에게 인사 자료가 답변으로 나오는가(민감 정보 노출)', '챗봇이 메일 발송 같은 도구를 확인 없이 쓰는가(과도한 자율성)'를 하나씩 시험해 본다.