AI 术语表 · 进阶 · 效率与基础设施 · AI 平台与解决方案
互连
互连是将多个 GPU 和服务器相互连接、使其交换数据的高速通信网络。服务器内部以 NVLink 为代表，服务器之间则以 InfiniBand 或高速以太网为代表。
关于这个术语
- 难度
- 进阶 · 需要了解内部原理的专业术语
- 加入时间
- 2026-10-12
工作原理
大模型要么一张 GPU 装不下，要么训练耗时太长，因此会分到多个 GPU 上处理。这时 GPU 之间需要不断交换计算中间结果和梯度。同一服务器内的 GPU 通过 NVLink 等专用连接进行非常快速的通信，服务器之间则通过 InfiniBand 或高速以太网交换机连接。一般来说，服务器内部连接比服务器之间的连接快得多。
为什么重要
在分布式训练和模型并行中，通信时间决定了整体速度。连接慢的话，昂贵的 GPU 等待数据而闲置的时间就会增加。因此，模型如何切分也要根据连接速度来决定。例如，通信频繁的切分放在服务器内部的 GPU 之间，通信较少的切分放在服务器之间。
在哪里会看到
可以在 GPU 规格书的 NVLink 带宽项、服务器规格中“SXM”（NVLink 连接型）与“PCIe”（普通插槽型）的区分，以及云 GPU 实例说明中的网络带宽里看到。介绍大规模训练集群的文章中也经常出现 InfiniBand 配置。
注意事项
GPU 数量翻倍并不意味着训练速度翻倍，增加的通信会相应拖慢速度。即使 GPU 型号名相同，PCIe 型的 GPU 间通信也比 NVLink 型慢，如果打算多卡组合使用就需要确认。如果是一张卡就足够的推理任务，昂贵的互连可能意义不大。
示例
打算用多个 GPU 服务大模型的团队，会先在云实例说明中确认 GPU 之间是否有 NVLink 连接。在一台服务器内用张量并行切分模型时，带 NVLink 的配置更有利；若要把训练扩展到多台服务器，则要看是否具备 InfiniBand 等服务器间网络。