AI 术语表 · 基础 · MLOps 与 LLMOps · 智能体
LLM 可观测性
LLM 可观测性是指让使用 LLM 的服务实际接收了什么输入、经过了哪些步骤、给出了什么回答都能被记录和查看。它用于在出问题时查找原因，并管理质量和成本。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 分类
- 数据、运维与平台
- 加入时间
- 2026-10-08
工作原理
一个用户请求进来后，会经过提示词组装、文档检索、LLM 调用、工具使用、最终回答等步骤。观测工具把这些步骤串成一条流程（追踪，trace），记录每一步的输入、输出、耗时和使用的 token 数。然后在仪表盘上查看这些记录，找出缓慢的步骤、成本高的请求和出错的位置。用户的点赞、点踩等反馈以及自动评估分数也会一并附上。
每个请求最好记录的内容
流程
- 经过了哪些步骤
- 每一步的输入和输出
- 出错的位置
性能·成本
- 每一步的耗时
- 使用的 token 数
质量
- 用户反馈
- 自动评估分数
为什么重要
LLM 对同一个问题的回答也会有些差异，还可能给出看似合理却错误的回答（幻觉）。它不像普通程序那样出错就停止，而是很自然地给出错误答案，因此不看记录就很难发现问题。对于像智能体这样自行执行多个步骤的系统，追踪它在哪一步走错了路就更加重要。关注 token 用量，还能及早发现成本突然上涨。
注意事项
对话记录中可能包含个人信息或公司机密，需要在存储前进行遮蔽、规定保存期限等管理。仅仅积累记录并不会提升质量，只有把收集到的失败案例做成 Evals（评估集），并接入每次更换提示词或模型时都进行检查的流程，效果才会明显。用 LLM-as-a-Judge 自动给回答质量打分并一并记录的做法也很常见。常见的形式是在传统的服务监控工具上增加 LLM 专用功能。
示例
当公司内部文档检索聊天机器人收到“回答答非所问”的投诉时，负责人会在观测工具中打开那段对话的追踪记录。通过逐步记录，可以确认是检索步骤取到了不相关的文档，还是文档没错但 LLM 总结错了。如果原因在检索，就调整分块（chunking）或重排序器（reranker），并把这个案例加入评估集，在下次变更时确认同样的错误不会再犯。