AI 术语表 · 基础 · MLOps 与 LLMOps · 语言模型
LLMOps
LLMOps 指构建和运营使用 LLM（大语言模型）的服务时所需的管理方法与工具。它以 MLOps 为基础，并加入了提示词管理、回答质量评估、成本管理等 LLM 带来的新工作。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 分类
- 数据、运维与平台
- 加入时间
- 2026-10-08
工作原理
LLM 服务中，改动模型周边的情况往往多于改动模型本身。需要按版本管理提示词和系统提示词；如果使用 RAG，还要一并管理待检索的文档和嵌入流水线。每次改动都用 Evals（评估集）检查回答质量，在线上服务中则记录并监控请求与响应、token 用量和响应速度（LLM 可观测性）。如果使用多个模型，有时还会通过 LLM 网关把调用集中管理。
为什么重要
LLM 对同一个问题每次的回答都会略有不同，而且很多情况下没有唯一的正确答案，因此质量检查比较棘手。哪怕只改一行提示词，其他回答也可能变差，所以需要对比改动前后的流程。此外，成本会随用量直接增加，幻觉、提示词注入等风险也需要在运营中持续关注。原型做起来容易，但要发展成稳定的服务，这类管理必不可少。
MLOps 与 LLMOps
MLOps运营自己训练的模型
- 管理数据与训练过程
- 与正确答案对比的性能指标
- 监控数据漂移
LLMOps运营基于 LLM 的服务
- 提示词·检索文档版本管理
- 评估存在多个正确答案的回答质量
- 管理 token 成本·幻觉·注入
공통 两者的核心都是部署后持续观察和改进的循环运营
注意事项
LLMOps 不是取代 MLOps，而是对它的扩展，因此数据管理、部署、监控等基本功依然需要。评估回答质量时，常把人工审核与 LLM-as-a-Judge（由另一个 LLM 打分的方式）结合使用，但要记住打分的 LLM 也可能出错。使用外部 API 模型时，提供方更新模型可能导致行为变化，最好定期用评估集重新检查。这个术语的范围在不同公司之间略有差异。
示例
设想一个运营客服聊天机器人的团队。每次修改提示词时，团队都会先用收集常见问题而成的评估集给回答打分，只有分数不下降时才上线。运营期间，他们通过仪表盘查看对话记录和 token 用量，并把出现离谱回答的案例收集起来，加入下一版评估集。这种反复进行“修改 → 评估 → 部署 → 观察”的体系就是 LLMOps。