AI 용어집 · 입문 · 언어 모델
컨텍스트 윈도 Context window
컨텍스트 윈도는 AI 모델이 한 번에 읽고 기억하며 다룰 수 있는 글의 최대 분량입니다. 보통 토큰 수로 표시합니다.
쉽게 말하면 책상 위에 한 번에 펼쳐 놓을 수 있는 서류의 양과 비슷합니다. 책상이 넓으면 많은 서류를 함께 보며 일할 수 있지만, 넘치는 서류는 책상 밖으로 밀려나 보이지 않게 됩니다.
어떻게 작동하나
사용자가 입력한 질문, 이전 대화, 첨부한 문서, 그리고 모델이 쓰는 답변까지 모두 컨텍스트 윈도 안에 들어가야 합니다. 이 범위를 넘으면 오래된 내용이 잘리거나 처리 자체가 거부될 수 있습니다. 모델은 이 창 안에 있는 내용만 직접 참고해서 답을 만듭니다.
왜 중요한가
컨텍스트 윈도가 크면 긴 보고서, 계약서, 코드 전체를 한 번에 넣고 질문할 수 있습니다. 긴 대화에서도 앞부분 내용을 잊지 않고 이어 갈 수 있습니다. 그래서 새 모델이 나올 때 컨텍스트 윈도 크기가 주요 특징으로 소개되곤 합니다.
알아 둘 점
창이 크다고 해서 그 안의 모든 내용을 똑같이 잘 활용하는 것은 아닙니다. 긴 글의 중간에 있는 정보를 놓치는 경우도 있습니다. 또 많이 넣을수록 처리 비용과 시간이 늘어납니다. 필요한 부분만 골라 넣는 RAG 같은 방법이 함께 쓰이는 이유입니다.
예시
문서 요약 서비스에 긴 PDF를 올렸을 때 '문서가 너무 깁니다'라는 안내가 뜨거나 일부만 요약되는 경우가 있습니다. 이는 문서 분량이 모델의 컨텍스트 윈도를 넘었기 때문인 경우가 많습니다.