LLM·에이전트 보안 가이드: 프롬프트 인젝션부터 도구 권한까지

무엇이고 왜 필요한가

LLM 보안은 모델 자체보다 모델을 품은 앱과 에이전트를 지키는 일이다. 지시 우선순위 연구논문는 프롬프트 인젝션이 모델이 아니라 그 위에 만든 앱을 노린다고 짚는다. 앱이 기밀 데이터에 접근하거나 실제 행동을 할 수 있다면, 인젝션 한 번으로 사용자 데이터가 새어 나가거나 LLM의 행동을 빼앗길 수 있다는 것이다.

문제가 커진 이유는 LLM이 검색 결과·문서·API를 붙여 쓰는 방식으로 빠르게 퍼졌기 때문이다. 간접 프롬프트 인젝션 연구논문는 LLM 통합 앱이 '데이터'와 '지시'의 경계를 흐린다고 말한다. 예전 소프트웨어는 입력된 글을 데이터로만 다뤘지만, LLM은 글을 읽다가 그 안의 문장을 명령으로 받아들일 수 있다.

위협 전체를 한눈에 보려면 공통 분류표가 필요하다. OWASP의 생성형 AI 보안 프로젝트글는 2025년판 LLM 애플리케이션 10대 위험으로 프롬프트 인젝션, 민감 정보 노출, 공급망 취약점, 데이터 포이즈닝(학습·임베딩 데이터 오염), 부적절한 출력 처리, 과도한 권한(에이전시), 시스템 프롬프트 유출, 벡터·임베딩 약점, 잘못된 정보, 무제한 자원 소비를 꼽는다. 한국어 번역본도 있다.

NIST의 AI 100-2 E2025 보고서글는 적대적 머신러닝 공격을 ML 방식의 종류, 공격이 일어나는 생애주기 단계, 공격자의 목표·능력·지식을 기준으로 계층화한 분류와 용어집을 제공한다. 데이터 포이즈닝, 회피 공격, 개인정보 침해 같은 공격을 같은 말로 부르도록 '공통 언어'를 만들려는 문서다. OWASP 목록은 앱 개발자의 점검표로, NIST 분류는 보안팀과 소통할 용어 사전으로 쓰면 좋다.

프롬프트 인젝션: 직접·간접과 치명적 삼박자

프롬프트 인젝션은 공격자가 시스템 설계자의 의도를 뒤집는 지시를 끼워 넣는 공격이다. 지시 우선순위 연구논문는 이를 두 갈래로 나눈다. 직접 인젝션은 앱의 사용자가 입력창에 직접 넣는 경우이고, 간접 인젝션은 웹 검색 결과나 도구 출력처럼 제3자 입력 안에 공격 지시가 들어 있는 경우다. Simon Willison의 글글은 프롬프트 인젝션과 탈옥(Jailbreak, 모델이 금지된 내용을 말하게 만드는 공격)을 다른 문제로 봐야 한다고 강조한다. 둘을 같다고 여기면 개발자가 "우리 앱과는 상관없다"며 인젝션을 무시하게 된다는 이유다.

간접 인젝션을 처음 체계적으로 다룬 연구논문는 공격자가 직접 접속하지 않고도 검색될 만한 데이터에 지시를 심어 두는 것만으로 앱을 원격 조종할 수 있음을 보였다. 이 연구는 GPT-4 기반 Bing 채팅과 코드 완성 엔진 같은 실제 시스템에서 공격을 시연했고, 검색해 온 프롬프트가 '임의 코드 실행'처럼 작동해 어떤 API를 언제 부를지까지 바꿀 수 있다고 밝혔다. 피해 유형으로는 데이터 탈취, 웜처럼 퍼지기, 정보 생태계 오염, 지속적 장악, 서비스 거부를 정리했다.

Willison의 글글은 에이전트에서 특히 위험한 조합을 '치명적 삼박자'라 부른다. 비공개 데이터에 접근할 수 있고, 공격자가 통제할 수 있는 글이나 이미지(신뢰할 수 없는 입력)에 노출되고, 데이터를 바깥으로 보낼 수 있는 능력이 있을 때다. 세 가지가 한 에이전트에 모이면 공격자는 데이터를 읽게 한 뒤 자기에게 보내도록 쉽게 속일 수 있다. 외부 전송 통로는 API 호출만이 아니다. HTTP 요청, 이미지 불러오기, 사용자가 누를 링크 하나도 통로가 된다.

근본 원인은 LLM이 지시의 출처에 따라 중요도를 안정적으로 가려내지 못한다는 점이다글. 모든 입력이 결국 하나의 토큰 열로 이어 붙여져 모델에 들어가기 때문이다. Anthropic의 글글도 메일 속에 흰 글씨로 숨긴 지시가 '기밀' 메일을 외부로 전달하게 만드는 예를 들며, 브라우저 에이전트는 공격 표면이 넓고 할 수 있는 행동도 많아 위험이 더 커진다고 설명한다.

MCP·도구 보안

MCP(모델 컨텍스트 프로토콜)는 에이전트가 여러 도구를 꽂아 쓰게 해 주는 표준이다. Willison의 글글은 MCP가 출처가 다른 도구를 섞어 쓰도록 장려한다는 점을 위험으로 꼽는다. 비공개 데이터에 닿는 도구와 악성 지시를 담을 수 있는 도구가 같은 경우가 많다는 것이다. 이 글이 예로 든 GitHub MCP 공격은 하나의 서버 안에 삼박자가 모두 들어 있었다. 공격자가 올린 공개 이슈를 읽고, 비공개 저장소에 접근하고, 풀 리퀘스트를 만들어 비공개 데이터를 밖으로 내보낼 수 있었다.

도구가 돌려주는 결과뿐 아니라 도구 설명 자체도 모델이 읽는 글이다. 그래서 도구 설명이나 결과에 지시를 숨기는 공격(흔히 도구 포이즈닝이라 부른다)도 같은 원리로 일어난다. 지시 우선순위 연구논문가 도구 출력을 가장 낮은 권한의 입력으로 둔 것도 이 때문이다.

인증·권한 쪽에서는 MCP 공식 보안 권고글가 구체적인 규칙을 둔다. 첫째는 '혼동된 대리인(confused deputy)' 문제다. 제3자 API에 고정 클라이언트 ID로 붙는 MCP 프록시 서버가 동의 쿠키를 악용당하면, 공격자가 사용자 동의 없이 인가 코드를 가로챌 수 있다. 권고는 프록시 서버가 클라이언트별 동의를 반드시 받고, 동의 화면에 요청 클라이언트 이름·권한 범위·토큰이 갈 리다이렉트 주소를 보여 주며, 리다이렉트 주소를 와일드카드 없이 정확히 일치하는지 확인하라고 요구한다. OAuth state 값은 한 번만 쓰고 짧은 시간(예: 10분) 안에 만료시키라고 한다.

둘째는 '토큰 패스스루' 금지다. MCP 서버가 자기에게 발급되지 않은 토큰을 검증 없이 하위 API로 넘기면, 속도 제한·요청 검증 같은 통제를 우회하게 되고 감사 기록에서 누가 요청했는지 가려낼 수 없게 된다글. 권고는 이 방식을 명시적으로 금지하며, 처음부터 토큰의 대상(audience)을 분리해 두면 나중에 보안 모델을 키우기 쉽다고 설명한다.

방어 층: 설계 원칙

출처들이 공통으로 말하는 원칙은 '한 겹으로는 막을 수 없다'는 것이다. Willison의 글글은 "95%의 공격을 잡는다"는 가드레일 제품을 의심하며, 웹 보안에서 95%는 낙제점이라고 말한다. Anthropic글도 브라우저 확장의 공격 성공률을 1% 수준까지 낮췄다고 밝히면서, 그 1%도 여전히 의미 있는 위험이며 문제가 풀린 것은 아니라고 적었다. 따라서 모델을 강하게 만드는 방어와 피해 범위를 줄이는 구조적 방어를 겹쳐야 한다.

모델 쪽 방어의 대표는 지시 우선순위(Instruction Hierarchy)다. 이 연구논문는 시스템 메시지가 사용자 메시지보다, 사용자 메시지가 도구 결과 같은 제3자 글보다 우선하도록 GPT-3.5를 학습시켰다. 상위 지시와 어긋나는 하위 지시는 무시하도록 합성 데이터로 가르쳤고, 시스템 프롬프트 추출 방어가 63% 좋아졌으며 학습에 없던 탈옥 공격에 대한 견고함도 30% 넘게 올랐다고 보고했다. 다만 멀쩡한 요청까지 거절하는 '과잉 거절'이 일부 늘었다. Anthropic글도 강화학습으로 인젝션을 거부하도록 훈련하고, 컨텍스트 윈도에 들어오는 신뢰할 수 없는 내용을 분류기로 검사하며, 사람 레드팀이 계속 공격을 시도한다고 밝혔다.

구조 쪽 방어의 핵심은 삼박자 중 하나를 끊는 것이다. Willison의 글글은 신뢰할 수 없는 입력을 읽은 에이전트는 그 입력이 중대한 행동을 일으킬 수 없도록 제약해야 한다는 요지를 인용하며, 벤더들이 실제 사고를 고칠 때도 대개 외부 유출 통로를 막는 방식을 썼다고 전한다. 실무에서는 여기서 다음 원칙이 나온다. 도구 권한을 일에 필요한 만큼만 주는 최소 권한, 코드 실행과 파일 접근을 격리하는 샌드박스, 메일 전송·결제·삭제 같은 중대한 행동 전 사람 승인(휴먼 인 더 루프), 출력 속 링크·이미지·외부 주소를 검사하는 출력 검사가 그것이다. OWASP 목록글의 '부적절한 출력 처리'와 '과도한 권한'이 바로 이 지점을 가리킨다.

마지막 층은 기록이다. MCP 보안 권고글가 토큰 패스스루를 금지하는 이유 중 하나가 감사 기록이 망가진다는 점이었듯, 누가 어떤 도구를 어떤 권한으로 불렀는지 남겨야 사고를 조사하고 통제를 고칠 수 있다.

운영 거버넌스와 도입 단계

기술 방어는 조직의 위험 관리 체계 안에 있어야 오래 간다. 구글의 SAIF글는 AI 개발 과정을 보안 관점에서 정리한 지도와 15가지 위험, 그에 맞는 통제를 제공하고, 자율 시스템을 위한 에이전트 보안 항목과 몇 가지 질문에 답하면 해당 위험과 통제를 알려 주는 에이전트 위험 자가 진단을 둔다. NIST AI RMF글는 2023년 1월 26일 공개된 자율 적용 프레임워크로, AI 제품의 설계·개발·사용·평가에 신뢰성 고려를 넣도록 돕는다. 실행 안내서인 Playbook과 생성형 AI 고유 위험을 다룬 생성형 AI 프로파일(NIST-AI-600-1, 2024년 7월)이 함께 나와 있고, 1.0판은 현재 개정 중이다.

처음 도입할 때는 다음 순서를 권한다. 1) 우리 앱이 다루는 데이터, 붙인 도구, 읽어 들이는 외부 콘텐츠를 목록으로 만들고 OWASP 10대 위험글에 하나씩 대어 본다. 2) 에이전트마다 치명적 삼박자글가 모두 갖춰졌는지 확인하고, 그렇다면 하나를 끊는 설계부터 바꾼다. 3) 도구 권한을 최소로 줄이고 MCP 서버는 공식 권고글대로 동의·토큰 처리를 점검한다. 4) 중대한 행동에는 사람 승인을, 코드 실행에는 샌드박스를 붙인다. 5) 입력 분류기와 출력 검사를 더하고 레드팀으로 실제 공격을 시도해 본다글. 6) SAIF 자가 진단글과 NIST AI RMF글로 책임자·검토 주기·사고 대응을 정해 운영 체계로 굳힌다.

이 순서의 요점은 '모델이 막아 주겠지'에서 시작하지 않는다는 것이다. 구조를 먼저 바꾸고, 그다음 모델과 검사기로 확률을 낮추고, 마지막으로 조직의 관리 체계에 올린다.

점검 목록

설계 단계에서는 다음을 확인한다. 에이전트가 비공개 데이터, 신뢰할 수 없는 입력, 외부 전송을 동시에 갖고 있지 않은가글. 시스템 프롬프트에 비밀번호나 키처럼 새어 나가면 안 되는 정보를 넣지 않았는가(시스템 프롬프트 유출, w1). 도구 결과와 외부 문서를 사용자 지시와 구분해 낮은 권한으로 다루는가논문.

도구와 MCP는 이렇게 점검한다. 도구마다 꼭 필요한 권한만 주었는가. 출처가 불분명한 MCP 서버를 섞어 쓰지 않는가글. MCP 프록시가 클라이언트별 동의를 받고 리다이렉트 주소를 정확히 일치시키는가, 토큰을 검증 없이 넘기지 않는가글.

실행과 운영에서는 다음을 본다. 메일 전송·삭제·결제 같은 행동 전에 사람이 승인하는가. 코드 실행은 샌드박스 안에서 이뤄지는가. 출력의 링크·이미지·외부 주소를 검사하는가. 토큰 사용량 같은 자원 소비에 상한이 있는가(무제한 자원 소비, w1). 도구 호출 기록이 남는가. 정기적으로 레드팀 공격을 돌리는가글.

흔한 실수와 한계

가장 흔한 실수는 시스템 프롬프트에 "외부 지시를 따르지 마라"고 쓰는 것으로 방어를 끝내는 것이다. Willison의 글글은 그런 문구를 넣을 수는 있지만, 악성 지시를 표현하는 방법이 끝없이 많아 매번 통한다고 확신할 수 없다고 지적한다. LLM은 같은 입력에도 매번 같은 행동을 하지 않는다는 점도 이 불확실성을 키운다.

두 번째 실수는 가드레일 제품의 탐지율을 보안 보장으로 착각하는 것이다글. 세 번째는 프롬프트 인젝션을 탈옥과 같은 문제로 보고 "우리 앱은 부끄러운 말만 안 하면 된다"고 여기는 것이다글. 네 번째는 벤더가 막아 줄 것이라 믿는 것이다. Willison은 벤더들이 자사 제품의 유출 통로는 빠르게 막았지만, 사용자가 직접 도구를 섞어 쓰기 시작하면 벤더가 해 줄 수 있는 일이 없다고 말한다.

방어 기법 자체의 한계도 있다. 지시 우선순위 학습논문은 견고함을 크게 높였지만 과잉 거절이 늘었다. Anthropic글은 공격 기법이 계속 진화하는 만큼 프롬프트 인젝션이 여전히 활발한 연구 주제이며 해결된 문제가 아니라고 밝힌다. 간접 인젝션 연구논문도 공개 당시 효과적인 완화책이 부족하다고 적었다. 결국 현재로서는 확률을 낮추는 방어와 피해 범위를 줄이는 설계를 함께 쓰는 수밖에 없다.

더 공부하려면

개념의 출발점으로는 간접 프롬프트 인젝션 연구논문를 먼저 읽는다. 앱이 데이터와 지시의 경계를 흐린다는 핵심 주장과 공격 분류가 이후 논의의 바탕이 된다. 이어서 Willison의 치명적 삼박자 글글을 읽으면 에이전트 설계에서 무엇을 끊어야 하는지가 잡힌다.

모델 쪽 방어가 궁금하면 지시 우선순위 연구논문에서 시스템·사용자·도구 결과의 우선순위를 어떻게 학습시키는지 보고, Anthropic의 브라우저 에이전트 글글에서 강화학습·분류기·레드팀을 함께 쓰는 실제 사례를 확인한다.

실무 점검과 운영에는 OWASP LLM Top 10글을 점검표로, MCP 보안 권고글를 도구 연동의 규칙집으로, NIST AI 100-2글를 용어 사전으로 쓴다. 조직 단위 체계는 SAIF글의 자가 진단과 NIST AI RMF글의 Playbook·생성형 AI 프로파일부터 시작하면 된다.