AI 术语表 · 基础 · 效率与基础设施
HBM
HBM（High Bandwidth Memory，高带宽内存）是一种把多片内存芯片像公寓楼一样向上堆叠，并紧贴在 GPU 等计算芯片旁边，从而能一次传输大量数据的内存。
工作原理
HBM 把 DRAM 芯片堆叠成多层，并在芯片上打出极小的孔，用电气通道把上下层直接连接起来（这称为 TSV，即硅通孔）。这样堆叠而成的堆栈被放置在与 GPU 等计算芯片相同的基板上，紧挨在其旁边。由于距离短、连接通道非常多，一次能传输的数据量，即带宽，远大于普通内存。HBM3、HBM3E、HBM4 等后面的数字表示代际，代际越高，通常速度越快、容量越大。
为什么重要
大型 AI 模型需要不断从内存中读取大量参数和中间计算结果。此时，无论计算芯片多快，只要内存送来数据慢，芯片就只能空等，这通常被称为“内存瓶颈”。HBM 能缓解这一瓶颈，因此已成为 AI 训练和推理用 GPU 及加速器中几乎不可或缺的部件。也正因如此，随着 AI 热潮兴起，生产 HBM 的内存公司的业绩和竞争成为业界关注的焦点。
注意事项
HBM 需要精密堆叠和连接芯片，工艺复杂，因此比普通内存贵得多，产能也难以快速扩大。所以在 AI 芯片供应短缺时，HBM 供货量有时被视为原因之一。此外，由于必须紧贴在计算芯片旁边，容量难以随意扩大，散热管理也是一大课题。智能手机和普通 PC 出于成本和功耗考虑，主要使用其他类型的内存而非 HBM。
示例
用于 AI 数据中心的 GPU 和 AI 加速器，大多以在芯片旁边连接多个 HBM 堆栈的形式推出。本站收录的消息中有一则报道称，AMD CEO Lisa Su 提到已开始出货搭载 HBM4 的产品。每当新一代 AI 芯片发布，搭载哪一代 HBM、搭载多少，都会作为核心规格一并介绍。三星电子（Samsung Electronics）等生产 HBM 的内存公司的业绩消息被当作 AI 行业新闻报道，也是这个原因。