AI 术语表 · 入门 · 效率与基础设施
VRAM
VRAM 是 GPU 上的专用内存，模型权重和计算中间值必须加载到这里，GPU 才能快速计算。
工作原理
GPU 只能快速处理自己内存中的数据。因此要运行模型，全部权重和计算中间值，如果是 LLM 还包括 KV 缓存，都必须加载到 VRAM 中。空间不够时，会出现“CUDA out of memory”错误，或者把一部分转移到 CPU 内存，导致速度大幅下降。高性能 AI GPU 使用名为 HBM 的高速内存作为 VRAM。
如何估算
权重内存可以按“参数量 × 每个数字的字节数”来粗略估算。例如，把 70 亿（7B）参数的模型以 16 位（2 字节）加载约需 14GB，量化为 4 位则为其四分之一，约 3.5GB。此外还需要 KV 缓存和计算用的余量空间。上下文越长、同时处理的请求越多，KV 缓存就越大。
VRAM 的分配情况
GPU 显存（VRAM）
模型权重KV 缓存计算中间值余量
在哪里会看到
可以在 GPU 规格表的“显存容量”、云实例说明中的 GPU 内存项，以及 nvidia-smi 的内存占用显示中看到。查看 Hugging Face 模型页面文件列表的大小，就能大致知道权重会占用多少 VRAM。本地 LLM 工具在选择模型时，也常常会一并显示所需内存。
注意事项
显存只勉强放得下权重的 GPU，实际上很难用。一旦处理长上下文或同时服务多个用户，KV 缓存很快就会占满空间。训练所需的内存远多于推理，因为还要加载梯度和优化器状态。MoE 模型即使激活参数较少，也必须加载全部权重，所以 VRAM 要按总参数量计算。
示例
为内部聊天机器人挑选开放权重模型的团队，会先在 Hugging Face 模型页面查看参数量和权重文件大小。例如，以 16 位加载 7B 模型时，仅权重就约占 14GB，因此要考虑并发用户和长上下文，选择 VRAM 比这更充裕的 GPU，或者选用 4 位量化版本。