주제 탐구 · 2026-11-15 · 심화 · 작성자 bombong
No-CoT: 추론을 글로 쓰지 않을 때 얻는 것과 잃는 것
No-CoT는 추론 과정을 글로 쓰지 않는 쪽을 말한다. 풀이 표시가 없는 데이터로 학습하는 경우, 추론을 모델 내부 표현으로 옮기는 경우, 한 번의 계산으로 바로 답하는 경우가 여기에 든다. 토큰 비용과 지연 시간은 줄지만, 사람이 읽고 감시할 수 있는 추론 기록은 사라진다. 이 노트는 이 맞바꿈을 정리한다.
목차
- No-CoT는 한 기법의 이름이 아니다. 데이터·출력·의사결정 모델 세 곳에서 '추론을 글로 쓰지 않는' 선택을 묶어 부르는 말이다.
- 풀이 표시가 없는 no-CoT 데이터를 활용할 때, 복잡한 next-chunk reasoning RL보다 no-CoT와 long-CoT를 섞은 Mixed SFT 한 단계가 RLVR 이후 더 높은 성능 상한에 닿았고 학습 연산은 60배 넘게 적었다.
- 암묵적 CoT는 토큰을 아끼지만, 잠재 토큰이 서로 비슷해지면서 학습이 무너지는 문제가 있다. SIM-CoT는 학습할 때만 단계별 감독을 붙여 이 문제를 줄였다.
- CoT를 없애면 CoT 모니터링이라는 안전 장치도 함께 사라진다. 반대로 CoT가 있더라도 그 내용이 실제 판단 과정을 충실히 반영한다는 보장은 없다.
- 실무에서는 '얼마나 쓰게 할지'를 과제 난이도, 감사 필요성, 모델 크기에 따라 정해야 한다. 학습의 중간 성적만으로 전략을 고르면 안 된다.
왜 No-CoT를 따로 봐야 하나
CoT(Chain-of-Thought, 사고의 사슬)는 모델이 답을 내기 전에 중간 풀이를 글로 적게 하는 방식이다. 추론 모델이 긴 CoT로 어려운 문제를 푼다는 사실이 알려지면서 '생각을 길게 쓰게 하면 좋아진다'는 직관이 퍼졌다. 그런데 CoT는 공짜가 아니다. 쓰는 토큰마다 계산 비용과 지연 시간이 붙고, 학습하려면 풀이가 단계별로 적힌 데이터가 필요하다.
No-CoT는 이 비용을 다른 각도에서 보는 관점이다. 세상의 데이터 대부분에는 CoT 주석이 없다. 교과서 유도 과정이나 모범 풀이는 추론이 풍부하지만, 모델이 따라 쓸 '생각 과정' 형식으로 정리돼 있지는 않다. no-CoT 데이터 학습 전략을 다시 검토한 연구논문는 이런 자료를 'no-CoT 데이터'라고 부르고, 이를 어떻게 학습에 쓸지를 따로 다룬다.
출력에서도 같은 질문이 생긴다. 라우팅이나 분류처럼 빠른 판단이 필요한 곳에서는 긴 풀이를 쓰게 하는 것이 낭비일 수 있다. 그래서 추론을 Hidden Representation(모델 내부 표현) 안으로 옮기거나, 아예 한 번의 계산으로 답을 내는 방향이 함께 연구되고 있다. 이 노트는 이 세 갈래를 'No-CoT'라는 하나의 질문으로 묶어 본다. 그 질문은 '추론을 글로 쓰지 않으면 무엇을 얻고 무엇을 잃는가'이다.
핵심 아이디어: 생각을 쓰지 않는 세 자리
비유로 시작해 보자. 수학 시험에서 풀이를 빼곡히 적는 학생, 머릿속으로 계산하고 답만 적는 학생, 문제 유형을 보자마자 답을 고르는 학생이 있다. 셋 다 '생각'은 한다. 차이는 그 생각이 종이에 남느냐, 남는다면 얼마나 남느냐다. No-CoT는 앞의 학생에서 뒤의 학생 쪽으로 옮겨 가는 선택이다.
이 선택이 일어나는 자리는 세 곳이다. 첫째는 데이터다. 풀이 표시가 없는 no-CoT 데이터를 어떻게 학습시킬지가 문제다. 둘째는 출력이다. 모델이 추론을 글자 대신 잠재 토큰(사람이 읽는 단어가 아닌 내부 벡터)으로 이어 가는 암묵적 CoT가 여기에 속한다. 셋째는 의사결정 모델이다. 글을 한 토큰씩 생성하는 대신 한 번의 순전파로 정해진 선택지에 대한 확률 분포를 돌려주는 'System 1' 모델이 있다. Jev식 의사결정 모델 감사 연구논문가 이 유형을 다룬다.
세 자리 모두 맞바꾸는 대상이 같다는 점이 중요하다. 글로 쓴 추론은 비용이 들지만 사람이 읽고 확인할 수 있다. 쓰지 않은 추론은 빠르고 싸지만 읽을 수 없다. 그 중간에는 긴 CoT에서 불필요한 단계만 걷어 내는 방식도 있다. 그래서 No-CoT는 'CoT를 쓰느냐 마느냐'라는 둘 중 하나의 문제가 아니라, 한 축 위에서 어느 지점을 고르느냐의 문제로 보는 편이 정확하다.
추론을 얼마나 글로 남기나
- Long CoT
- 가지치기한 CoT
- 암묵적 CoT
- System 1 직접 답
어떻게 작동하나
데이터 쪽부터 보자. no-CoT 데이터를 활용하려고 제안된 방법 가운데 next-chunk reasoning RL이 있다. 모델이 텍스트의 다음 덩어리(chunk) 앞에 스스로 숨은 추론을 만들어 넣게 하고, 그 추론이 다음 덩어리를 얼마나 잘 예측하게 하는지를 보상으로 준다. 풀이 표시가 없는 글에서 강화학습으로 '생각'을 끌어내려는 시도다. 그런데 no-CoT 데이터 학습 전략 연구논문는 더 단순한 대안인 Mixed SFT와 이를 통제된 조건에서 비교했다. Mixed SFT는 no-CoT 데이터와 long-CoT 데이터를 한 번의 SFT(지도 미세조정) 단계에서 함께 학습하는 방식이다. 그 결과 Mixed SFT가 RLVR(검증 가능한 보상 강화학습)까지 마친 뒤의 성능 상한이 더 높았고, 학습 연산은 60배 넘게 적게 들었다. 이 우위는 수학 추론뿐 아니라 영역 밖 추론 과제에서도 같았다.
출력 쪽에서는 암묵적 CoT가 대표적이다. 추론 단계를 글자로 쓰지 않고 잠재 토큰으로 이어 가므로 토큰을 아낄 수 있다. 하지만 명시적 CoT보다 성능이 떨어져 널리 쓰이지 못했다. SIM-CoT논문는 원인을 이렇게 진단했다. 잠재 토큰 수를 늘리면 잠재 표현들이 서로 비슷해지고 의미의 다양성을 잃으면서 학습이 무너진다. 해법은 학습할 때만 보조 디코더를 붙여 각 잠재 토큰을 그에 대응하는 명시적 추론 단계와 맞추는 단계별 감독이다. 추론할 때는 보조 디코더를 떼어 내므로 추가 비용이 없다. 이 방법은 Coconut의 성능을 GPT-2에서 8.2%, CODI의 성능을 LLaMA-3.1 8B에서 3.0% 끌어올렸다. GPT-2에서는 명시적 CoT 기준선보다 2.1% 높으면서 토큰 효율은 2.3배 좋았다.
의사결정 모델은 가장 극단에 있다. Jev식 모델 감사 연구논문에 따르면 이런 'System 1' 모델은 자기회귀 생성 대신 한 번의 순전파로 미리 선언된 스키마(선택지·점수 등)에 대한 확률 분포를 돌려준다. 이 연구는 이를 생성형 'System 2' 기준선과 비교했다. 기준선에는 토큰 하나의 로그 확률로 점수를 매기는 방식과 JSON·CoT로 구조화해 출력하는 방식이 있다.
발전 흐름: 덜 쓰기에서 안 쓰기로
입력으로 받은 연구들 사이의 흐름은 '길게 쓴 추론을 어떻게 줄일까'에서 '애초에 쓰지 않은 추론을 어떻게 다룰까'로 이어진다.
가장 온건한 출발점은 소형 언어 모델의 효율적 long CoT 연구논문다. 이 연구는 DeepSeek-R1 같은 추론 모델의 긴 CoT를 SLM(소형 언어 모델)에 Distill할 때 생기는 문제를 짚었다. 긴 CoT에는 과잉 사고 같은 중복 단계가 많아 용량이 작은 모델이 배우기 어렵다. 그래서 불필요한 단계를 가지치기하고, SLM 스스로 On-policy 방식으로 쓸모 있는 학습 데이터를 고르게 했다. 결과적으로 성능은 경쟁력을 유지하면서 중복 추론은 크게 줄었다. CoT를 없애지 않고 덜 쓰게 만드는 단계다.
SIM-CoT논문는 한 걸음 더 나아가 추론을 글자 밖으로 옮긴 암묵적 CoT의 불안정성을 고쳤다. 같은 시기 CoT 감시 가능성 연구논문는 반대편에서 질문을 던졌다. 모델이 판단에 실제로 쓴 요인을 CoT에 충실히 말로 옮기는지, 그리고 CoT 기반 감시기가 잘못된 행동을 믿을 만하게 잡아내는지를 체계적으로 따졌다. 글로 쓴 추론이 안전에 쓸모 있다는 전제가 흔들릴 수 있다는 점을 보여 준 것이다.
2026년의 no-CoT 데이터 연구논문는 데이터 쪽으로 무게를 옮겼다. 풀이 표시가 없는 자료를 활용하는 데 꼭 정교한 강화학습이 필요하지는 않다는 것, 그리고 RLVR 이전의 정확도가 높다고 해서 RLVR 이후 정확도도 높아지지는 않는다는 것을 보였다. 따라서 no-CoT 학습 전략은 사후 학습 파이프라인 전체를 거친 결과로 평가해야 한다.
No-CoT 연구의 눈에 띄는 수치
요즘 어디로 가고 있나
최근 연구는 크게 세 방향으로 움직인다. 첫째는 '글로 쓴 추론이 실제로 쓸모 있나'를 직접 재는 방향이다. 사후 학습과 언어화된 계산 연구논문는 Olmo-3-7B-Instruct의 SFT·DPO·RLVR 체크포인트를 차례로 비교하며 여러 자릿수 덧셈을 살폈다. 받아올림 값은 SFT와 RLVR 모두에서 내부 활성값으로부터 비슷한 정확도로 읽어 낼 수 있었다. 하지만 그 정보를 조작해도 출력이 일관되게 바뀌지는 않았다. 반면 RLVR이 만든 CoT는 다른 체크포인트에 건네도 SFT나 DPO가 만든 CoT보다 높은 정확도를 냈다. 정보가 내부에 있다는 사실과, 글로 쓴 추론이 쓸모 있다는 사실은 별개라는 뜻이다.
둘째는 아예 생성을 하지 않는 결정 모델을 검증하는 방향이다. Jev식 모델 감사 연구논문에서 40억 파라미터 이상의 System 1 모델은 구문 변화가 있을 때 더 빠르고 보정도 더 잘 됐다(ECE 0.030~0.087). 로그 확률 기준선은 0.144, JSON 기준선은 0.378이었다. 그러나 이들 모델이 보고하는 신뢰도는 실제 정확도를 반영한 값이 아니라 확률 분포의 퍼짐 정도를 정해진 공식으로 바꾼 값이었다. 또 0.8B 모델은 한 요청에 여러 질문을 묶으면 이진 판단의 11.7~22.4%가 뒤집혔다. 4B 모델에서는 이 비율이 0.1~0.2%였다.
셋째는 CoT를 지키려는 거버넌스 쪽 움직임이다. CoT 모니터링 투명성 공시 제안논문은 CoT 모니터링이 첨단 AI를 감시하는 가장 가치 있는 도구이지만 위협받고 있다고 본다. 그래서 개발사가 보고할 지표 다섯 가지를 제안했다. 지표는 외부의 CoT 접근과 기반 아키텍처 명세, CoT의 자연스러움·충실성, 감시의 탐지력과 그로 인한 효과에 걸쳐 있다. Anthropic, OpenAI, Google DeepMind의 현재 공시를 점검해 보니 다섯 지표를 모두 다룬 곳은 없었다. 다만 각 지표는 적어도 한 곳이 보고하고 있었다. 추론이 잠재 공간으로 옮겨 갈수록 이 지표들이 의미를 잃을 수 있다는 점이 No-CoT 연구의 반대편 긴장이다.
한계와 쟁점: 언제 쓰고 언제 피하나
가장 큰 쟁점은 감시 가능성이다. 추론을 글로 쓰지 않으면 CoT를 읽어 지름길이나 아첨 같은 잘못된 행동을 잡아내는 장치를 쓸 수 없다. 그렇다고 CoT를 쓰게 하면 안전하다는 뜻도 아니다. CoT 감시 가능성 연구논문가 지적하듯 모델은 실제 판단 요인을 늘 충실히 말로 옮기지 않는다. 감시기 쪽도 지나치게 민감하거나 둔감할 수 있고, 길고 정교한 추론에 속을 수 있다. 결국 No-CoT로 잃는 것은 '완벽한 투명성'이 아니라 '불완전하지만 쓸 수 있는 감시 창구'다.
성능 면에서도 조건이 붙는다. 암묵적 CoT는 단계별 감독이 없으면 잠재 토큰이 비슷해지며 무너질 수 있다논문. System 1 모델은 작은 크기에서 여러 질문을 묶으면 서로 간섭이 커지고, 보고하는 신뢰도가 실제 정답률이 아니다논문. 그래서 신뢰도 값을 그대로 임계값으로 쓰면 위험하다. no-CoT 데이터 학습에서는 RLVR 이전 정확도가 높다고 RLVR 이후도 높으리라 볼 수 없다. 중간 점수로 전략을 고르는 것은 흔한 실수다논문.
실무 판단 기준으로 정리하면 이렇다. 정해진 선택지 안에서 빠르게 판단해야 하는 라우팅·분류에는 직접 답하는 방식이 맞는다. 다만 모델 크기와 질문 묶음 방식을 먼저 확인해야 한다. 여러 단계 계산이 필요하거나 결정 근거를 감사해야 하는 업무에는 명시적 CoT를 남기는 편이 낫다. 비용이 걱정되면 CoT를 없애기보다 중복 단계를 줄이는 쪽논문을 먼저 검토한다. 학습 데이터에 풀이 표시가 없다고 곧바로 복잡한 RL을 설계하기보다, 섞어서 SFT하는 단순한 기준선부터 돌려 보는 것이 비용 면에서 합리적이다.
No-CoT 도입 전 점검
과제
- 정해진 선택지 안의 빠른 판단인가
- 여러 단계 계산이 필요한가
- 결정 근거를 감사해야 하는가
모델·학습
- 작은 모델에 여러 질문을 묶지 않았는가
- 신뢰도 값을 실제 정답률로 믿고 있지 않은가
- RLVR까지 마친 결과로 전략을 비교했는가
대안
- CoT를 없애기 전에 중복 단계부터 줄여 봤는가
- Mixed SFT 같은 단순한 기준선을 돌려 봤는가
더 공부하려면
No-CoT의 데이터 측면을 이해하려면 no-CoT 데이터 학습 전략 연구논문부터 읽는 것이 좋다. 'no-CoT 데이터'의 정의와 next-chunk reasoning RL의 발상, Mixed SFT와의 통제 비교가 한 편에 다 들어 있다. 사후 학습 전체를 보고 평가해야 한다는 교훈도 이 논문에서 나온다.
출력 측면은 SIM-CoT논문를 읽으면 암묵적 CoT가 왜 불안정했고 학습할 때만 쓰는 감독이 어떻게 이를 고치는지 알 수 있다. 그 전 단계인 '덜 쓰기'는 소형 언어 모델의 효율적 long CoT 연구논문가 짧고 읽기 쉽다.
맞바꿈의 반대편을 보려면 CoT 감시 가능성 연구논문와 투명성 공시 제안논문을 이어서 읽는다. 내부 정보와 글로 쓴 추론의 쓸모가 어떻게 갈리는지는 사후 학습과 언어화된 계산 연구논문를, 생성 없는 결정 모델의 실제 성질은 Jev식 모델 감사 연구논문를 읽으면 된다.
관련 용어
CoT 추론 모델 RLVR SFT Distillation 해석 가능성 테스트 타임 컴퓨트 Decision model
참고 문헌
핵심 논문
- Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data (2026)
- SIM-CoT: Supervised Implicit Chain-of-Thought (2025)
- Efficient Long CoT Reasoning in Small Language Models (2025)
- Investigating CoT Monitorability in Large Reasoning Models (2025)
최근 연구
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.