测试时计算
测试时计算是指 AI 模型在完成训练后、实际回答问题的阶段(推理时)投入更多计算,以提高回答质量。
通俗解释 这就像考试时不是一看到题目就写答案,而是在草稿纸上反复演算、验算后再作答。花更多时间能更好地解出难题,但在简单的题目上可能只是浪费时间。
工作原理
过去,要提升性能,主要是把模型做得更大、训练得更久。测试时计算则改为在生成答案的那一刻投入更多计算。代表性的方法是让模型在给出最终答案前经历一段较长的思考过程(CoT)。也有生成多个答案并从中选出最好的一个,或者让模型自行检查和修改的方法。
为什么重要
有观点指出,扩大模型本身需要巨大的成本,效果也在逐渐递减。测试时计算表明,即使是同一个模型,只要给它更多思考时间,在数学、编程等需要逐步思考的问题上性能就可能提升。这一思路是推理模型的核心,“让模型思考多久”成为调节性能的新旋钮。
注意事项
思考得越多,响应越慢,token 用量也越多,成本随之上升。对于简单的问题,长时间思考几乎没有收益,因此根据问题难度调节计算量很重要。思考得更久也不一定总能更接近正确答案,有时也会沿着错误方向长时间推理而答错。
示例
许多 AI 服务会分别提供“快速回答”和“深度思考”等模式,或者让用户选择推理强度。选择深度思考模式后,模型会在回答前思考较长时间,这时增加的计算就是测试时计算。