AI 术语表 · 基础 · 效率与基础设施 · AI 平台与解决方案
CUDA
CUDA 是 NVIDIA 开发的 GPU 编程平台，是让 GPU 的大量运算单元可用于 AI 训练、推理等通用计算的软件基础。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-12
工作原理
GPU 原本是为绘制图形而设计的芯片，但它擅长同时进行大量相同的计算。CUDA 是让普通程序能利用这种能力的一整套语言扩展、编译器、驱动和库。开发者很少直接编写 CUDA 代码，通常由 PyTorch 等深度学习框架代为调用 cuDNN、cuBLAS 等 CUDA 库。因此，用户只需在代码中把模型移到 'cuda' 设备上，计算就会在 GPU 上运行。
CUDA 所处的位置
- 我的代码/模型model.to('cuda')
- 深度学习框架PyTorch 等
- CUDA 库cuDNN·cuBLAS
- CUDA 运行时/驱动
- NVIDIA GPU
在哪里会见到
最常见的场景是在 PyTorch 安装页面上选择“适用于 CUDA 12.x”之类的构建版本。在终端运行 nvidia-smi，会显示驱动支持的 CUDA 版本。Docker 镜像名称和推理引擎的安装说明中也会标注 CUDA 版本。如果错误信息中出现 'CUDA out of memory'，意味着 GPU 显存（VRAM）不足。
为什么重要
AI 生态中的大多数库和优化代码都会首先基于 CUDA 开发。因此，人们常认为 NVIDIA GPU 在 AI 市场强势的原因不仅在于硬件，还在于 CUDA 生态。新技术出现时，CUDA 版本的实现往往最先公开。反过来，要迁移到其他公司的芯片，就必须弥补这一软件差距。
注意事项
CUDA 仅适用于 NVIDIA GPU。AMD GPU 使用 ROCm，Google TPU 使用 XLA 等其他软件。相当一部分安装问题源于驱动、CUDA 工具包和框架构建版本之间不匹配。如果“有 GPU 却很慢”，最好先确认框架是否真正识别到了 CUDA。
示例
想在本地运行开放权重模型的开发者，会先用 nvidia-smi 确认驱动支持的 CUDA 版本，再安装不高于该版本的 CUDA 构建版 PyTorch。如果推理引擎文档写着“需要 CUDA 12 及以上”，就要先升级驱动。本站 'Long-WAM' 等研究动态中出现的模型，通常也是在这类基于 CUDA 的环境中训练和实验的。
本站出现过的地方
- 论文 Long-WAM：World-Action 模型的上下文扩展 2026-10-09