논문 리뷰 · 2026년 11월 5일

Think Less, Locally: 추론 압축을 위한 국소 선호 학습

Think Less, Locally: Local Preference Learning for Reasoning Compression

과잉 사고가 시작되는 추론 지점을 찾아 같은 지점에서 더 짧은 정답 이어쓰기를 DPO로 선호하도록 학습시켜, 정확도를 유지하면서 CoT 길이를 크게 줄였다.

문제

대형 추론 모델은 답에 필요한 정보를 이미 얻은 뒤에도 계속 숙고해서 추론 비용이 커진다. 기존 압축 기법은 Trajectory 전체를 비교하거나 일부를 잘라내는 방식이다. 그래서 '현재 상태에서 추론을 더 할지, 여기서 마무리할지'라는 국소적 판단을 직접 가르치지 못한다.

방법

LoCo는 세 단계로 학습 데이터를 만든다. 첫째, 모델 자신의 CoT를 단락 단위 스텝으로 나누고, 스텝 신뢰도는 낮고 변동성은 높은 지점을 과잉 사고 후보로 고른다. 이어서 Judge 모델(Qwen3-30B)이 다음 스텝이 이미 확인한 내용을 반복하는지 다시 확인한다. 둘째, 해당 접두부를 고정한 채 이어쓰기를 8개 샘플링하고, 정답인 것 중 가장 짧은 것을 고른다. 셋째, (같은 접두부, 짧은 정답 이어쓰기, 원래 이어쓰기)를 선호 쌍으로 묶어 DPO로 학습한다. DeepSeek-R1-Distill-Qwen-7B에 LoRA로 적용했고, 학습 데이터는 수학 문제에 대한 자가 생성 추론 기록만 썼다.

결과

5개 수학 벤치마크(MATH-500, AMC 2023, Olympiad, AIME 2024·2025)에서 출력 길이가 41.7~45.4% 줄었고, 정확도는 유지되거나 올랐다.
수학 데이터로만 학습했는데도 3개 코드 벤치마크(MBPP, LiveCodeBench v5, CodeContests)에서 출력 길이가 23.4~36.3% 줄었다. 비교 기법 중 모든 코드 벤치마크에서 AUC가 가장 높았다.
저자들은 특히 높은 압축률과 높은 정확도가 함께 필요한 어려운 데이터셋에서 정확도-효율 트레이드오프 개선이 두드러졌다고 보고했다.

한계

실험은 DeepSeek-R1-Distill-Qwen-7B 한 모델에서만 했다. 과잉 사고 검출에는 더 큰 Judge 모델이 필요하고, 이어쓰기 검증에는 정답 라벨이 필요하다. 그래서 정답 확인이 어려운 과제로 넓히는 데는 제약이 있다. 제공된 본문에는 벤치마크별 기준선과의 세부 수치가 잘려 있다.

의미

추론 모델을 서빙할 때는 토큰 수가 곧 지연시간과 비용이다. LoCo는 일률적으로 짧게 만드는 대신 '언제 멈출지'를 학습시킨다. 그래서 어려운 문제에서 성능을 잃을 위험을 줄이면서 비용을 낮출 수 있는 실용적인 후처리 학습 방법이다.

핵심 용어

과잉 사고(Overthinking): 답을 내기에 충분한 정보를 얻은 뒤에도 같은 내용을 다시 검토하며 불필요하게 추론을 이어가는 현상이다.
DPO(Direct Preference Optimization): 선호 쌍(좋은 응답, 나쁜 응답)을 이용해 별도 보상 모델 없이 모델이 좋은 응답의 확률을 높이도록 직접 학습하는 방법이다.
추론 상태(Reasoning state): 프롬프트와 지금까지 생성한 추론 스텝을 이어 붙인 접두부다. 모델이 다음에 계속 추론할지, 결론을 낼지 결정하는 지점이다.
CoT(Chain-of-Thought): 모델이 최종 답 전에 중간 추론 과정을 단계별로 생성하는 방식이다.

원문

저자: Muyao Yuan, Liyan Xu, Weizhan Zhang, Muyan Jiao, Jiangnan Li, Jinchao Zhang, Jie Zhou · 게시 2026-11-03 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.