AI 용어집 · 심화 · 효율·인프라 · AI 플랫폼·솔루션
인터커넥트 Interconnect, NVLink·InfiniBand
인터커넥트는 여러 GPU와 서버를 서로 연결해 데이터를 주고받게 하는 고속 통신망으로, 서버 안에서는 NVLink, 서버 사이에서는 InfiniBand나 고속 이더넷이 대표적이다.
용어 정보
- 난이도
- 심화 · 구조·원리까지 알아야 하는 전문 용어
- 카테고리
- 인프라·모델 활용
- 분야
- 효율·인프라, AI 플랫폼·솔루션
- 추가
- 2026-10-12
어떻게 작동하나
큰 모델은 GPU 한 장에 다 들어가지 않거나 학습이 너무 오래 걸려서 여러 GPU에 나눠 처리한다. 이때 GPU들은 계산 중간 결과와 기울기를 계속 주고받아야 한다. 같은 서버 안의 GPU들은 NVLink 같은 전용 연결로 아주 빠르게 통신하고, 서버끼리는 InfiniBand나 고속 이더넷 스위치로 연결한다. 일반적으로 서버 안 연결이 서버 사이 연결보다 훨씬 빠르다.
왜 중요한가
분산 학습과 모델 병렬화에서는 통신 시간이 전체 속도를 좌우한다. 연결이 느리면 비싼 GPU가 데이터를 기다리며 노는 시간이 늘어난다. 그래서 모델을 어떻게 나눌지도 연결 속도에 맞춰 정한다. 예를 들어 통신이 잦은 분할은 서버 안 GPU끼리, 통신이 덜한 분할은 서버 사이에 둔다.
어디서 보게 되나
GPU 사양서의 NVLink 대역폭 항목, 서버 사양의 'SXM'(NVLink 연결형)과 'PCIe'(일반 슬롯형) 구분, 클라우드 GPU 인스턴스 설명의 네트워크 대역폭에서 본다. 대규모 학습 클러스터 소개 글에는 InfiniBand 구성이 자주 나온다.
알아 둘 점
GPU 수를 두 배로 늘린다고 학습 속도가 두 배가 되지는 않는다. 늘어난 통신이 그만큼 발목을 잡는다. 같은 GPU 모델명이라도 PCIe형은 NVLink형보다 GPU 간 통신이 느리니 여러 장을 묶어 쓸 계획이면 확인해야 한다. 한 장으로 충분한 추론 작업이라면 비싼 인터커넥트가 큰 의미가 없을 수 있다.
예시
여러 GPU로 큰 모델을 서빙하려는 팀은 클라우드 인스턴스 설명에서 GPU 간 NVLink 연결 여부를 먼저 확인한다. 한 서버 안에서 텐서 병렬화로 모델을 나누면 NVLink가 있는 구성이 유리하고, 여러 서버로 학습을 넓히려면 InfiniBand 같은 서버 간 네트워크가 갖춰졌는지 본다.