AI 용어집 · 기초 · 언어 모델
CoT Chain-of-Thought, 사고의 사슬
CoT(Chain-of-Thought, 사고의 사슬)는 AI 모델이 바로 답을 내지 않고, 중간 풀이 과정을 단계별로 글로 쓰면서 답에 이르게 하는 방식이다.
어떻게 작동하나
LLM은 글을 토큰 단위로 하나씩 이어 쓰고, 앞에 쓴 내용을 참고해 다음 토큰을 정한다. 그래서 중간 단계를 먼저 써 두면 그 내용이 다음 단계를 푸는 발판이 된다. 처음에는 프롬프트에 '단계별로 생각해 보자' 같은 문장을 넣거나, 풀이 과정이 담긴 예시를 함께 보여 주는 방식으로 CoT를 이끌어 냈다. 요즘 추론 모델은 강화학습 같은 사후 학습을 통해 긴 CoT를 스스로 쓰도록 훈련된다.
왜 중요한가
수학 문제, 논리 퍼즐, 코딩처럼 여러 단계를 거쳐야 하는 문제에서 정답률을 높이는 경우가 많다. 큰 문제를 작게 나눠 처리하므로 한 번에 답할 때 생기기 쉬운 실수가 줄어든다. 답하는 순간에 계산을 더 써서 성능을 올리는 테스트 타임 컴퓨트의 대표적인 방법이고, 추론 모델의 바탕이기도 하다. 사람이 풀이를 읽고 어디서 틀렸는지 확인할 수 있다는 장점도 있다.
알아 둘 점
풀이가 길어질수록 토큰을 많이 써서 비용과 응답 시간이 늘어난다. 간단한 질문에서는 효과가 적거나 거의 없다. 그럴듯해 보이는 풀이에 틀린 단계가 섞일 수 있다. 또 적힌 풀이가 모델의 실제 내부 판단을 그대로 보여 준다는 보장이 없어서, 이 문제는 해석 가능성 연구의 주제가 된다. 일부 서비스는 CoT 원문 대신 요약만 보여 준다.
예시
추론 모델을 쓰는 챗봇은 '생각 중' 표시와 함께 풀이 과정을 접었다 펼 수 있게 보여 주곤 하는데, 이것이 CoT가 드러나는 대표적인 예다. 일반 모델에서도 '단계별로 풀어서 설명해 줘'라고 요청하면 비슷한 효과를 얻을 수 있다.