AI 术语表 · 基础 · AI 平台与解决方案
GPU 云
GPU 云是一种不直接购买 GPU 服务器，而是按小时等方式从云服务商租用，用于 AI 训练和推理的服务。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-12
工作原理
云服务商在数据中心配备 GPU 服务器，用户选择所需的 GPU 类型和数量，以“实例”的形式租用。除了大型综合云平台，也有专门提供 GPU 租赁的厂商。租用方式通常分为：随用随开随关的按需，签订期限合约享受折扣的预留，以及以低价使用闲置资源但随时可能被回收的竞价（Spot）。只需部署模型的推理 API 类服务，广义上也属于同一类。
租用 GPU 的三种方式
按需随租随还
- 灵活
- 单价偏高
预留期限合约
- 享受折扣
- 适合长期使用
- 合约期内被绑定
竞价（Spot）闲置资源
- 通常最便宜
- 随时可能被回收
- 必须保存检查点
공통 费用均由 GPU 类型、数量和时长决定
在哪里会看到
在云服务价格表中，通常以“GPU 类型 × 数量 × 每小时价格”的形式呈现。实例名称或说明中会写明 GPU 型号、GPU 显存（VRAM）、GPU 之间的连接方式和网络带宽。估算方法是用“每小时价格 × 使用时长 × 台数”粗算训练和实验成本，再与用自购服务器完成同样工作的成本进行比较。
为什么重要
GPU 价格昂贵且难以获得，大多数企业和研究人员通过云来使用算力。实验初期可以从小规模开始，只在需要时扩容，这是一大优势。不必直接购买也能试用最新的 GPU。反过来，持续大量使用的服务则会比较预留合约或自建方案来降低成本。
注意事项
即使 GPU 名称相同，不同实例的 VRAM 容量、是否支持 NVLink 以及服务器间网络也各不相同，需要仔细查看规格。热门 GPU 在所需地区可能没有库存。除 GPU 费用外，还会另外收取存储和数据传输（尤其是出站流量）费用。如果处理敏感数据，还需确认数据存储在哪个国家或地区，以及相关安全认证。
示例
想要微调开放权重模型的团队，会先估算所需的 VRAM，再从 GPU 云价格表中挑选具备相应显存的实例。短期实验用竞价实例低成本运行，并频繁保存检查点以防被回收；实际服务用的推理服务器则采用按需或预留方式稳定运行。