AI 术语表 · 基础 · AI 平台与解决方案 · 效率与基础设施
Kubernetes
Kubernetes 是一个开源管理系统，能自动把容器（把程序及其运行环境装进一个箱子）分散部署到多台服务器上，在容器停止时重新启动，并根据使用量进行扩缩容。通常简写为 K8s。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-08
工作原理
用户在配置文件中写下“这个程序运行几个、需要 GPU”之类的“期望状态”。Kubernetes 的大脑——控制平面（API 服务器、调度器等）接收这些信息，在实际服务器即节点中挑选资源匹配的节点，部署 Pod（运行容器的最小单位）。像 Web API 这样的轻量任务可以放在 CPU 节点上，像模型服务这样的重任务可以放在 GPU 节点上。此后它会持续监控当前状态，一旦与期望状态不符，例如 Pod 挂掉，就会重新启动以恢复一致。
为什么重要
当服务器增加到几十、几百台时，靠人一台台部署和管理程序就很困难。Kubernetes 以标准方式处理部署、故障恢复和自动扩缩容，已成为事实上的云基础设施通用语言。在 AI 领域，它被广泛用作在 GPU 集群上运行模型服务、训练任务和数据管道，并让多个团队共享昂贵 GPU 的基础。
注意事项
它的组件和概念很多，学习和运维都不容易。因此，许多企业使用由云服务商代为运维的托管 Kubernetes（例如 Amazon EKS、Google GKE、Azure AKS）。使用 GPU 需要驱动和设备插件等额外配置，配置稍有偏差，训练或服务就可能无法正常运行。对于小型服务来说，它反而可能是过重的工具。
示例
本站报道的“NVIDIA 发布 GPU Kubernetes 集群配置验证工具 AICR v1.0”一事，说明了在用 Kubernetes 统一使用 GPU 时检查配置是否正确有多么重要。实际上，许多企业把 LLM 服务器部署在 Kubernetes 上，请求激增时自动增加模型服务 Pod，空闲时再减少，以节省 GPU 成本。
本站出现过的地方
- 简报 NVIDIA 发布 GPU Kubernetes 集群配置验证工具“AICR v1.0” 2026-10-07