AI 术语表 · 进阶 · AI 平台与解决方案 · MLOps 与 LLMOps
LLM 网关
LLM 网关是在多个应用使用多个 AI 模型时，在两者之间设置的一道统一关口，让所有请求都经过这里的中间层。认证、模型选择（路由）、成本管理、日志记录和安全检查都集中在这道关口处理。
关于这个术语
- 难度
- 进阶 · 需要了解内部原理的专业术语
- 加入时间
- 2026-10-08
工作原理
公司内部聊天机器人、编程工具、业务自动化等应用不再分别调用各模型公司的 API，而是统一向网关的一个地址发送请求。网关确认发出请求的人或团队有权限后，按照预设规则把请求转给外部模型或公司自行部署的模型。收到响应后，原样返回给应用，同时记录使用的 token 数、耗时和费用。许多网关会把多家公司的 API 统一成一种通用格式，因此无需大幅修改应用代码就能更换模型。
为什么重要
公司内部使用 AI 的团队增多后，API 密钥会四处分散，也很难掌握谁用了多少、哪些数据流向了外部。设置网关后，密钥管理、各团队的用量上限和费用结算都可以在一处完成。还可以配置回退（fallback）：某个模型变慢或出故障时，自动切换到其他模型。遮蔽个人信息、拦截危险请求的护栏，以及复用同一问题答案的缓存，也很适合加在这一环节。
注意事项
由于所有请求都经过同一处，网关本身一旦变慢或停止，就会影响整个服务。因此需要部署多台并持续监控运行状态。把多个模型统一成一种格式，可能导致某些模型特有的功能无法直接使用。此外，网关中会积累提示词和响应记录，因此应把这些记录本身视为敏感数据，规定访问权限和保存期限。
示例
在多个部门各自开发生成式 AI 功能的公司里，通常由平台团队搭建一个 LLM 网关，并要求所有团队只能通过它使用模型。例如，可以设定规则，把客服聊天机器人的请求发往快速、低价的模型，把合同审查工具的请求发往性能更高的模型；月底再根据网关记录按部门拆分用量和费用进行结算。开源网关或云厂商提供的托管式 AI 网关服务常用于这类场景。