AI 术语表 · 入门 · 效率与基础设施
NPU
NPU（Neural Processing Unit，神经网络处理器）是专门设计的半导体芯片，只用于以高速度、低功耗处理人工神经网络计算。可以把它看作专门用来运行 AI 模型的“专用计算器”。
工作原理
AI 模型的计算大多是把数字相乘、相加的操作重复极多次。NPU 在芯片内铺满了这类乘法和加法单元，并让它们同时运转。它还常常用精度稍低的数字（量化后的数字）进行计算，以提高速度、节省电力。与通用芯片 CPU 或起源于图形处理的 GPU 不同，其关键在于电路从一开始就只为神经网络计算而设计。
为什么重要
AI 模型的使用场景正从数据中心扩展到智能手机、笔记本电脑、汽车、摄像头等。这些设备受电池和发热限制，难以装入耗电量大的芯片，因此能以低功耗运行 AI 的 NPU 成为端侧 AI 的核心部件。在数据中心，为了减少对 GPU 的依赖、降低成本，打造推理（inference）专用 NPU 的公司也在增加。这也与各国扶持本国 AI 芯片的主权 AI 趋势相呼应。
注意事项
NPU 在不同公司有不同名称（TPU、AI 加速器等），结构也各不相同，因此它并不指某一种标准产品。由于针对特定计算做了优化，出现新型模型时，软件支持可能跟不上，导致无法充分发挥性能。因此，开发工具和软件生态与芯片本身的性能同样重要。此外，从零开始训练大规模模型的工作仍主要由 GPU 承担，NPU 更多用于运行已训练模型的推理环节。
示例
如今推出的智能手机和被称为“AI PC”的笔记本电脑，都在 CPU、GPU 之外配备了 NPU，可在不联网的情况下于设备内完成照片修饰、语音识别、实时翻译等功能。本站收录的新闻中有一则报道称，韩国企业 Mobilint 自主设计的 NPU 将搭载于世界号（Nuri）运载火箭第五次发射的副载荷卫星进入太空，这是在电力和重量受限的卫星上进行 AI 计算的尝试。另有报道称，AMD 正在推进将自家 CPU、GPU 与韩国国产 NPU 结合的异构基础设施，可见混用多种芯片的配置也在增多。