AI 术语表 · 基础 · 效率与基础设施
推理（Inference）
推理（Inference）是向已完成训练的 AI 模型输入新数据、得到实际结果（回答、图像、分类等）的过程，也就是“使用”模型的阶段。
通俗解释 厨师经过长期修炼（训练）积累手艺后，接到客人的点单（输入）并做出菜品（输出），这就是推理。接单期间厨师的手艺本身不会改变，这一点也很相似。
工作原理
AI 模型的一生大致分为训练和推理两个阶段。训练阶段会看大量数据来调整模型内部的数字（参数）；推理阶段则保持这些数字不变，只针对新输入进行计算。以 LLM 为例，把提示词切分成 Token 输入模型后，模型会预测下一个 Token。将该 Token 接在输入后面，再预测下一个 Token，如此反复，直到完成整个回答。
为什么重要
训练只需大规模进行一次，而推理在用户每次提问时都会发生。因此服务规模越大，总成本和电力中就有相当一部分来自推理。回答速度、价格、能否直接在手机上运行（设备端 AI）等用户体验也取决于推理效率。正因如此，量化、KV 缓存、推测解码、专用芯片（NPU 等）这类让推理更快、更便宜的技术正被积极研究。
注意事项
在韩语中，“추론”（推理）一词有两种含义，容易混淆：一是运行模型得到结果的 inference，二是逐步推敲思考的 reasoning。“추론 비용”（推理成本）或“추론 서버”（推理服务器）通常指 inference，而“추론 모델”（推理模型）或“추론 능력”（推理能力）则指 reasoning。另外，推理期间模型不会学习新知识，因此在对话中告诉它的内容只在该对话的上下文中使用，不会存入模型本身。
示例
在聊天机器人中输入问题、回答逐字显示出来的那一刻，正是推理发生的场景。AI 服务公司在 GPU 服务器上运行这一过程，并按输入、输出 Token 数收取 API 费用，这是因为推理所需的计算量随 Token 数成比例增加。手机相册应用无需联网就能识别照片中的物体，也是在设备内执行推理的例子。