주제 탐구 · 2026-11-16 · 기초 · 작성자 bombong
추론 강도 조절: 생각 토큰 예산과 Overthinking 줄이기
추론 모델은 맞는 답을 찾은 뒤에도 검산을 되풀이하는 Overthinking 때문에 토큰과 시간을 낭비하고, 때로는 정답을 오답으로 덮어쓴다. 이 글은 생각 토큰 예산, 멈춤 신호, 단계별 보상, 생각 여부 라우팅이 각각 무엇을 얻고 무엇을 잃는지 정리한다.
목차
- Overthinking은 비용 문제에 그치지 않는다. 맞는 중간 답을 찾은 뒤에도 계속 생각하다가 틀린 답으로 덮어쓰면 정확도까지 떨어진다.
- 고정된 생각 토큰 예산은 쉽고 비용을 예측할 수 있지만, 문제마다 필요한 생각의 양이 다르다는 점을 무시한다.
- 연구는 전체 길이에 똑같이 감점하는 방식에서 벗어나, 군더더기가 시작되는 단계나 토큰만 골라 줄이는 쪽으로 옮겨 왔다.
- 최근에는 '얼마나 생각할까'에서 한 걸음 더 나아가 '생각할지 말지'와 '어떤 행동을 줄일지'를 고르는 연구가 나온다.
- 실무에서는 토큰 절감률보다 어려운 문제에서 잃은 정답이 없는지를 먼저 확인해야 한다. 짧게 만드는 것보다 필요한 만큼 생각하게 하는 것이 목표다.
왜 필요했나: '길게 생각할수록 좋다'의 그늘
추론 모델(Reasoning model)은 답을 내기 전에 CoT(Chain-of-Thought, 사고의 사슬)라고 부르는 중간 풀이를 길게 쓴다. 이렇게 답하는 시점에 계산을 더 쓰는 방식을 테스트 타임 컴퓨트(Test-time compute)라고 한다. 이 방식은 수학·과학·도구 사용 문제에서 성능을 끌어올렸다. 대가도 있다. 생각 토큰도 한 개씩 생성해야 하고 토큰 단위로 과금되므로, 생각이 길어지면 비용과 응답 시간이 함께 늘어난다.
늘어난 생각이 모두 쓸모 있는 것도 아니다. 이미 맞는 답에 도달했는데도 검산과 재유도를 되풀이하는 현상을 Overthinking(과잉 사고)이라고 부른다. ThinkBrake논문 연구진은 '오라클 멈춤' 실험을 했다. 문장이 끝날 때마다 생각 종료 표시(</think>)를 넣어 보고, 나중에 결과를 보고 가장 좋은 멈춤 지점을 고르는 방식이다. 그 결과 생각 토큰은 72% 줄었고 평균 정확도는 오히려 8% 올랐다. 모델이 중간에 맞는 답을 찾고도 계속 생각하다가 틀린 답으로 덮어쓰는 일이 적지 않다는 뜻이다.
Concise-9B논문는 Qwen3.5-9B가 생각하는 도중 2,048 토큰마다 강제로 답을 내게 해 보았다. 어려운 문제 묶음에서 생각 토큰의 54~64%는 '그 뒤로 강제로 낸 답이 모두 최종 답과 같아지는 시점' 이후에 나왔다. 답이 이미 굳은 뒤에도 생각을 이어 간 셈이다. 이미지가 섞인 작업에서도 비슷한 현상이 나타난다. REChart논문는 차트 편집에서 추론 길이와 성능이 뒤집힌 U자 관계를 보인다고 보고했다. 생각이 지나치게 길어지면 모델이 이미지에 없는 세부를 지어내거나(환각) 같은 추론을 맴돈다는 것이다.
반대 방향의 실패도 있다. ReBalance논문는 쉬운 문제에 계산 단계를 낭비하는 Overthinking과 함께, 능력이 있는데도 충분히 탐색하지 않는 Underthinking(과소 사고)을 지적한다. 반성 표현을 억누르거나 길이를 줄이는 기존 방법이 자칫 과소 사고를 부를 수 있다는 것이다. 그래서 이 분야의 목표는 '짧게'가 아니라 '필요한 만큼'이다.
Overthinking의 규모
핵심 아이디어: 생각에도 예산과 브레이크가 필요하다
시험 보는 학생을 떠올리면 쉽다. 쉬운 문제를 다섯 번씩 검산하는 학생은 시간이 모자라고, 어려운 문제를 대충 넘기는 학생은 틀린다. 시험을 잘 보는 학생은 문제를 보고 시간을 얼마나 쓸지 가늠하고, 풀다가 '이제 됐다'는 확신이 들면 펜을 놓는다. 추론 강도 조절은 모델에게 이 두 감각, 곧 예산 감각과 멈춤 감각을 갖게 하는 일이다.
가장 단순한 도구는 생각 토큰 예산이다. 생각에 쓸 토큰 수의 상한을 정하고, 넘으면 생각을 끊는다. 구현이 쉽고 비용을 예측할 수 있지만, 문제마다 필요한 생각의 양이 다르다는 점은 무시한다. VSRM논문 연구진은 기존 효율화 방법 대부분이 과제 난이도를 미리 정확히 판단해서 예산을 정하거나 추론 모드를 골라야 하므로 유연성과 신뢰성이 떨어진다고 지적했다.
그래서 연구는 크게 세 질문으로 나뉜다. 첫째는 생각하는 도중 '언제 멈출까'를 정하는 브레이크다. 둘째는 긴 생각 가운데 '어느 부분이 군더더기인가'를 찾아내는 가지치기다. 셋째는 시작 전에 '생각을 할지 말지, 얼마나 할지'를 고르는 라우팅이다. 세 방식은 서로 배타적이지 않아서 함께 쓸 수 있다.
어떻게 작동하나: 멈추기, 가르치기, 보상하기
추론 모델은 생각 구간을 문장 단위로 이어 쓰다가 생각 종료 표시를 내고 답을 쓴다. 강도 조절은 이 고리의 여러 지점에서 이뤄진다. 첫째는 추론 시점 제어다. 모델은 그대로 두고 생성 도중에 나오는 신호를 본다. ThinkBrake논문는 문장이 끝날 때마다 '다음에 올 가장 유력한 토큰'과 '</think>'의 로그 확률 차이를 잰다. 이 차이가 좁혀지면, 곧 모델 스스로 끝낼 만하다고 여기기 시작하면 생각을 멈춘다. 학습이 필요 없고, 수학·과학 질의응답·도구 사용 벤치마크에서 생각 토큰을 최대 30% 줄였다. ReBalance논문는 모델의 확신도를 연속 지표로 쓴다. 확신도가 크게 흔들리면 과잉 사고로, 계속 지나치게 확신하면 과소 사고로 판단한다. 그런 다음 작은 데이터로 만든 조향 벡터(Hidden Representation을 특정 방향으로 미는 값)의 세기와 방향을 실시간으로 바꿔, 군더더기는 쳐내고 필요할 때는 탐색을 늘린다.
둘째는 학습으로 습관을 바꾸는 방식이다. Self-Braking Tuning논문은 외부 장치 없이 모델이 스스로 멈추게 하는 것을 목표로 한다. 정답을 기준으로 과잉 사고를 가려내는 지표를 만들어 풀이 속 불필요한 단계를 찾아낸다. 이를 바탕으로 문제에 따라 길이가 다른 학습 데이터와 '브레이크 프롬프트'를 만들어, 모델이 알맞은 지점에서 생각을 끝내는 법을 익히게 한다.
셋째는 강화학습의 보상을 다듬는 방식이다. 가장 흔한 방법은 정답 보상에 길이 감점을 더하는 것이다. 그러나 ATTNPO논문는 Trajectory 전체에 똑같이 거는 길이 감점이 길이를 잘 줄이지 못하고 정확도까지 떨어뜨린다고 지적한다. 모든 단계를 똑같이 다루기 때문에 필요한 단계와 군더더기를 구분하지 못한다는 것이다. 그래서 연구는 단계마다 상벌을 따로 매기는 쪽으로 갔다. VSRM논문은 중간 상태의 성과를 보고 각 단계에 보상을 준다. ATTNPO는 필수 단계에 주목하는 특정 어텐션 헤드의 점수로 단계별 기여도를 나눈다.
이 설계들은 서로 다른 것을 맞바꾼다. 추론 시점 제어는 학습 비용이 없고 기존 모델에 바로 붙일 수 있다. 대신 생성할 때마다 판단 비용이 들고 모델 내부 신호에 접근할 수 있어야 한다. 학습형은 한 번 학습 비용을 치르면 추론할 때 별도 장치가 필요 없다. 대신 학습 데이터와 다른 종류의 문제에서 어떻게 행동하는지 다시 확인해야 한다.
발전 흐름: 길이 자르기에서 단계별 기여도 나누기로
2025년 Self-Braking Tuning논문은 외부 제어에 기대던 기존 방식에서 벗어나 '모델이 스스로 브레이크를 밟는' 방향을 열었다. VSRM논문은 예산을 미리 정하는 대신, 강화학습 안에서 효과적인 단계는 북돋고 비효과적인 단계는 깎는 것이 핵심이라고 보았다. 중간 상태의 성과에 근거한 규칙 기반 단계별 보상을 PPO·Reinforce++와 결합해 AIME24·AIME25에서 성능을 유지하며 출력 길이를 크게 줄였다. ThinkBrake논문는 반대로 학습 없이 디코딩 단계에서 멈출 시점을 판단했다.
2026년에는 어느 단계와 토큰이 군더더기인지 더 정밀하게 가려내는 연구가 이어졌다. ATTNPO논문는 모델 내부의 어텐션 신호로 단계별 기여도를 값싸게 매겨, 9개 벤치마크에서 추론 길이를 줄이면서 성능도 높였다. ReBalance논문는 0.5B~32B 규모의 네 모델과 아홉 벤치마크에서 학습 없이 중복을 줄이고 정확도를 올렸다. REChart논문는 적용 범위를 차트 편집으로 넓혔다. Rollout마다 무작위 생각 예산을 주고 그 지점에서 추론을 자른 뒤, 마지막 추론 조각이 결과에 기여한 만큼 보상하는 '효율 보상'을 설계했다.
AES논문는 길이 감점을 시퀀스 전체에 똑같이 걸면 필수 단계와 군더더기를 구분하지 못하는 '기여도 혼동'이 생긴다고 보았다. 이를 가늠할 대리 지표로는 엔트로피(불확실성)가 높은 토큰에 주목했다. 이런 토큰은 추론이 다시 검증으로 돌아가는 전환점과 자주 겹친다. AES는 같은 묶음에서 나온 효율적인 답의 길이를 기준으로 삼아, 그보다 앞에 나온 고엔트로피 토큰은 살리고 그 길이를 넘어선 뒤쪽 고엔트로피 토큰은 감점한다. 그 결과 여덟 벤치마크에서 추론 길이를 최대 52.9% 줄이면서 평균 정확도를 최대 3.8% 올렸다. 이 흐름을 요약하면 '전체 길이를 깎는다'에서 '군더더기가 시작되는 지점을 찾아 그 부분만 깎는다'로 옮겨 온 것이다.
요즘 어디로 가고 있나: 답이 굳은 뒤를 덜어내고, 생각할지부터 고르기
Concise-9B논문는 단순한 자기 학습으로 군더더기를 덜어낸다. 모델이 직접 만든 풀이 가운데 정답이면서 가장 짧은 것만 남겨 다시 파인튜닝하는 On-policy 거절 샘플링 파인튜닝을 두 번 돌렸다. 그 결과 8,983개 시험 문제에서 32K 생각 예산 기준으로 원래 모델의 0.66배 토큰만 쓰면서도 정확도는 ±1점 안에서 같았다. 아낀 생각 토큰의 86%는 답이 이미 굳은 뒤의 구간이었다. 눈여겨볼 점도 있다. '강제로 낸 답이 세 번 연속 같으면 멈춘다' 같은 단순 규칙을 원래 모델에 적용하면 정확도가 2.4~9.2점 떨어졌다. 답이 굳은 지점은 나중에 돌아봐야 정확히 알 수 있기 때문이다.
HDM논문은 '얼마나 생각할까' 대신 '생각을 아예 안 할까, 끝까지 할까'를 묻는다. 고정된 모델 하나가 두 모드를 함께 쓴다. 빠른 모드는 생각 토큰을 만들지 않고 한 번의 순전파(입력을 모델에 한 번 통과시키는 계산) 안에서 답한다. 느린 모드는 전체 추론을 한다. 가벼운 자기 라우팅 블록이 '생각의 가치'를 추정하고, 그 값이 요청마다 정한 가격 λ보다 클 때만 느린 모드를 돌린다. 에이전트 과제인 MiniWoB에서 HDM-27B는 토큰 비용을 80.1% 줄였다. 가격을 요청마다 바꿀 수 있으니 추론 강도를 서비스 설정처럼 다루는 방향이다.
Routes of Reasoning논문은 길이가 아니라 '행동'을 겨냥한다. 토큰 예산이나 조향 같은 기존 방법은 생각의 길이만 조절할 뿐, 어떤 행동을 줄일지는 고르지 못한다는 문제의식에서 출발했다. 연구진은 MoE(전문가 혼합) 모델의 라우터 점수만으로 계획·실행·재진술·사실·반성·결론의 여섯 가지 추론 행동을 잘 예측할 수 있음을 보였다. 이어 추론 중에 라우터 점수를 고쳐 과잉 사고를 억제했고, 생성 토큰을 중간값 기준 30.4%, 최대 63.3% 줄였다.
한계와 쟁점: 줄인 토큰보다 잃은 정답을 먼저 보라
첫째, 짧아진 대가는 어려운 문제에서 드러난다. Concise-9B논문는 생각을 80K 토큰까지 이어 가게 했을 때 1,276개 어려운 문제 가운데 25개를 원래 모델보다 덜 풀었고, 대부분 경시 수학 문제였다. 평균 정확도가 같아도 분포 끝쪽의 어려운 문제에서는 손해를 볼 수 있다. ReBalance논문가 경고한 과소 사고도 같은 맥락이다.
둘째, 고정 예산은 쉽지만 거칠다. 예산으로 잘라 내면 비용은 예측 가능해지지만, 필요한 생각의 양을 미리 알아야 한다는 VSRM논문의 지적은 그대로 남는다. ThinkBrake논문의 오라클 실험이 보여 준 큰 이득도 '최적 지점을 사후에 아는' 경우의 상한일 뿐이다. 실제 방법이 거둔 절감은 그보다 작은 최대 30%였다.
셋째, 방법마다 필요한 접근 권한이 다르다. ThinkBrake는 토큰 로그 확률에, ReBalance는 Hidden State에, Routes of Reasoning논문은 MoE 라우터에 접근해야 한다. API로만 모델을 쓰는 팀은 이런 추론 시점 제어를 직접 붙이기 어렵고, 오픈웨이트 모델을 직접 서빙하는 팀은 선택지가 넓다. Self-Braking Tuning·VSRM·AES 같은 학습형 방법은 학습 파이프라인과 검증 가능한 정답 데이터가 있어야 한다.
실무 판단 기준은 이렇다. 토큰 절감률만 보지 말고 난이도별 정확도를 함께 본다. 쉬운 요청이 많고 비용과 응답 시간이 중요하면 '생각할지 말지'를 고르는 라우팅이나 낮은 예산이 맞다. 어려운 문제의 비중이 크면 예산을 넉넉히 두고 군더더기만 덜어내는 방법을 고른다. 수학에서 검증한 결과를 다른 영역에 옮길 때는 다시 측정한다. REChart논문가 보여 주듯 멀티모달 작업에서는 과잉 사고가 환각으로 이어질 수 있으므로 따로 살펴야 한다.
추론 강도 조절 전 점검
측정
- 난이도별 정확도를 나눠 보는가
- 어려운 문제에서 놓친 정답을 세는가
- 토큰과 함께 응답 시간도 재는가
- 수학 밖 영역에서 다시 측정했는가
방법 고르기
- 로그 확률·내부 상태에 접근할 수 있는가
- 검증 가능한 정답 데이터가 있는가
- 쉬운 요청 비중이 커서 라우팅이 맞는가
- 멀티모달이면 환각 증가를 확인했는가
더 공부하려면
현상부터 감을 잡으려면 ThinkBrake논문의 오라클 멈춤 실험과 Concise-9B논문의 '답이 굳은 뒤 생각 토큰' 측정을 먼저 읽는다. 과잉 사고가 얼마나 흔하고, 그것을 실제로 줄이기가 왜 어려운지를 두 연구가 각각 보여 준다.
방법은 계열별로 읽으면 좋다. 학습 없는 브레이크로는 ThinkBrake와 ReBalance논문, 모델이 스스로 멈추게 학습하는 방식으로는 Self-Braking Tuning논문을 본다. 강화학습 보상 설계는 VSRM논문, ATTNPO논문, AES논문 순으로 읽으면 '단계별 상벌'이 어떻게 정밀해졌는지 따라갈 수 있다. 멀티모달 쪽은 REChart논문가 출발점이다.
최근 방향은 HDM논문의 '생각할지 말지' 라우팅과 Routes of Reasoning논문의 '행동 단위 제어'를 비교해 읽으면 길이 조절 다음 단계가 무엇인지 보인다.
관련 용어
참고 문헌
핵심 논문
- ThinkBrake: Efficient Reasoning via Log-Probability Margin Guided Decoding (2025)
- Let LRMs Break Free from Overthinking via Self-Braking Tuning (2025)
- Promoting Efficient Reasoning with Verifiable Stepwise Reward (2025)
- ATTNPO: Attention-Guided Process Supervision for Efficient Reasoning (2026)
- Efficient Reasoning with Balanced Thinking (2026)
- REChart: Reasoning-Efficient Chart Editing with Large Reasoning Models (2026)
- Adaptive Entropy-Sparing for Efficient Reasoning (2026)
최근 연구
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.