논문 리뷰 · 2026년 10월 14일
Thinking Inertia: 생각하지 말라고 해도 계속 생각하는 LLM
Thinking Inertia: LLMs Keep Thinking When Told Not To
답변을 '답 이전 텍스트'와 '최종 답'으로 나눠 3단계 지표로 측정한 결과, 생각 끄기 설정이나 지시로는 눈에 보이는 추론을 확실히 없앨 수 없었다.
문제
LLM의 '생각 모드'는 많이 연구됐지만, '생각하지 않기'는 거의 다뤄지지 않았다. 기존 연구는 생각 모드 비활성화, <think> 태그 없음, 짧은 출력 같은 겉모습으로 판단했다. 하지만 생각 모드를 꺼도 추론이 나올 수 있고, 긴 출력도 실제 추론이 아닌 군더더기일 수 있다.
방법
응답을 답 이전 텍스트(T)와 최종 답(A)으로 나누고 세 단계로 평가했다. ① ETR(Empty-Thinking Rate): 답만 내놨는지 엄격하게 본다. ② QRel: Qwen3-Embedding-4B로 질문과 T의 관련도를 잰다. ③ EIR(Explicit Inference Rate): 블라인드 GPT-5.5 Judge가 T에 명시적 추론 단계가 있는지 판정한다. 6개 LLM에 6가지 프롬프트 개입(Think-On/Off, CoT, Soft, Strict, Prefix)을 적용했고, Boolean·객관식·주관식 과제에서 비교했다. 사람 평가로 지표의 타당성도 검증했다.
결과
- DeepSeek-V4-Flash는 생각 모드를 끈 상태에서도 주관식 응답의 99.9%에 명시적 추론이 남아 있었다.
- 저자들은 눈에 보이는 추론이 스위치 설정보다 답의 형식(answer space)에 더 좌우된다고 보고했다. 추론 비율은 Boolean에서 가장 낮고, 객관식이 중간, 주관식이 가장 높았다('Thinking Inertia').
- 생각 모드를 완전히 끈 5개 LLM의 주관식 과제에서, 엄격한 '답만' 지시를 주면 평균 ETR이 거의 0에서 약 40%로 올랐다. 대신 평균 정확도는 약 15%p 떨어졌다.
- 같은 질문을 후보 답이 보이는 형식으로 바꾸면 답만 내놓는 응답이 훨씬 쉬워졌다.
- 5명 평가자의 명시적 추론 라벨은 GPT-5.5 Judge와 평균 98.8% 일치했다.
한계
눈에 보이는 응답만 분석했고, 모델 내부의 잠재적 추론은 다루지 않는다고 저자들이 명시했다. 대상은 6개 모델과 6가지 프롬프트 개입으로 제한된다. EIR은 LLM Judge에 의존한다(다른 계열 Judge로 견고성은 확인함).
의미
지연 시간이나 토큰 비용 때문에 '추론 끄기'를 쓰는 서비스라면, 설정만 믿지 말고 실제 출력을 측정해야 한다는 점을 보여준다. 주관식 과제에서는 추론을 억제하면 정확도가 떨어지는 trade-off도 있다.
핵심 용어
- Thinking Inertia
- 생각하지 말라는 지시나 설정이 있어도 눈에 보이는 추론이 계속 나오는 현상이다. 답의 형식이 열려 있을수록 심해진다.
- ETR(Empty-Thinking Rate)
- 최종 답 외에 다른 텍스트가 전혀 없는 응답의 비율이다.
- LLM-as-judge
- 다른 LLM에게 루브릭을 주고 출력을 평가하게 하는 방식이다.
원문
저자: Dianqiao Lei, Kevin Qinghong Lin, Pan Lu, Philip Torr, James Zou · 게시 2026-10-08 · 라이선스 CC0 1.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.