컨텍스트 엔지니어링 Context engineering
컨텍스트 엔지니어링은 AI 모델(LLM)이 답을 만들 때 보는 정보 전체를 설계하는 일이다. 지시문, 대화 기록, 검색한 문서, 도구 결과 가운데 무엇을 얼마나, 어떤 순서로 넣을지 정한다.
어떻게 작동하나
LLM은 학습 때 익힌 지식 말고는 지금 입력으로 받은 글(컨텍스트)만 보고 답한다. 그런데 한 번에 볼 수 있는 분량(컨텍스트 윈도)에는 한계가 있다. 그래서 지시문·질문, 이전 대화 기록, RAG로 찾은 문서, 도구 실행 결과 같은 재료 가운데 필요한 것을 고르고, 줄이고, 배치하는 단계를 거친다. 오래된 대화는 요약하고, 관련 있는 문서만 골라 넣고, 도구 설명도 필요할 때만 넣는 식이다. 이렇게 정리한 컨텍스트를 모델에 넘겨 답을 받는다.
왜 중요한가
같은 모델이라도 어떤 정보를 보여 주느냐에 따라 결과가 크게 달라진다. 특히 여러 단계를 스스로 이어 가는 AI 에이전트는 작업이 길어질수록 도구 결과와 대화가 쌓여 컨텍스트가 금방 찬다. 너무 많이 넣으면 비용이 늘고 중요한 정보가 묻힌다. 너무 적게 넣으면 모델이 모르는 내용을 지어내는 환각이 생길 수 있다. 그래서 관심이 지시문 한 줄을 잘 쓰는 일에서 모델에 정보를 공급하는 방식 전체를 설계하는 일로 넓어졌다.
알아 둘 점
프롬프트 엔지니어링과 겹치는 부분이 많다. 프롬프트 엔지니어링이 지시문 자체를 잘 쓰는 데 집중한다면, 컨텍스트 엔지니어링은 지시문을 포함해 모델이 보는 정보 전체를 다룬다. 정해진 공식은 없고, 작업마다 실험하면서 조정한다. 컨텍스트 윈도가 길어졌다고 해서 전부 넣으면 해결되는 것도 아니다. 입력이 길수록 중간에 있는 정보를 놓치기 쉽다고 알려져 있다.
예시
코딩 에이전트는 사용자 요청을 받으면 저장소 전체를 넣지 않고 관련 파일만 찾아 읽는다. 여기에 프로젝트 규칙 파일을 함께 넣고, 대화가 길어지면 앞부분을 요약해 공간을 확보한다. 고객 상담 챗봇도 해당 고객 정보, 관련 FAQ 문서, 최근 문의 기록만 골라 넣고 답변을 만든다.