论文解读 · 2026年10月14日
Thinking Inertia：叫它别思考也仍在思考的 LLM
Thinking Inertia: LLMs Keep Thinking When Told Not To
将回答拆分为“答案前文本”和“最终答案”，用三级指标测量后发现，关闭思考的设置或指令都无法可靠地消除可见的推理。
问题
LLM 的“思考模式”已有大量研究，但“不思考”几乎无人涉及。以往研究依据关闭思考模式、没有 <think> 标签、输出较短等表面特征来判断。然而，即使关闭思考模式也可能出现推理，较长的输出也可能只是冗余内容而非真正的推理。
方法
将回答分为答案前文本（T）和最终答案（A），分三级进行评估。① ETR（Empty-Thinking Rate）：严格检查是否只给出了答案。② QRel：用 Qwen3-Embedding-4B 衡量问题与 T 的相关度。③ EIR（Explicit Inference Rate）：由盲评的 GPT-5.5 Judge 判定 T 中是否有显式推理步骤。对 6 个 LLM 施加 6 种提示词干预（Think-On/Off、CoT、Soft、Strict、Prefix），并在 Boolean 题、选择题和开放式题目上进行比较。还通过人工评估验证了指标的有效性。
结果
- DeepSeek-V4-Flash 即使在关闭思考模式的状态下，仍有 99.9% 的开放式回答保留了显式推理。
- 作者报告称，可见推理更多取决于答案形式（answer space），而非开关设置。推理比例在 Boolean 题中最低，选择题居中，开放式题目最高（“Thinking Inertia”）。
- 在完全关闭思考模式的 5 个 LLM 的开放式任务中，给出严格的“只给答案”指令后，平均 ETR 从接近 0 升至约 40%。但平均准确率下降了约 15 个百分点。
- 将同一问题改为可看到候选答案的形式后，只给出答案的回答变得容易得多。
- 5 名评估者的显式推理标签与 GPT-5.5 Judge 的平均一致率为 98.8%。
局限
作者明确表示只分析了可见回答，不涉及模型内部的潜在推理。研究对象仅限 6 个模型和 6 种提示词干预。EIR 依赖 LLM Judge（已用其他系列的 Judge 确认了稳健性）。
意义
对于因延迟或 token 成本而使用“关闭推理”的服务，这表明不能只信任设置，而应实际测量输出。在开放式任务中，抑制推理还存在准确率下降的权衡（trade-off）。
关键术语
- Thinking Inertia
- 即使有不要思考的指令或设置，可见推理仍持续出现的现象。答案形式越开放，越明显。
- ETR(Empty-Thinking Rate)
- 除最终答案外完全没有其他文本的回答所占比例。
- LLM-as-judge
- 给另一个 LLM 提供评分标准（rubric），让其评估输出的方法。
原文
作者: Dianqiao Lei, Kevin Qinghong Lin, Pan Lu, Philip Torr, James Zou · 发布 2026-10-08 · 许可 CC0 1.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。