AI 용어집 · 기초 · 효율·인프라

HBM 고대역폭 메모리

HBM(High Bandwidth Memory, 고대역폭 메모리)은 메모리 칩 여러 장을 아파트처럼 위로 쌓고 GPU 같은 연산 칩 바로 옆에 붙여, 한 번에 아주 많은 데이터를 주고받을 수 있게 만든 메모리입니다.

쉽게 말하면 일반 메모리가 멀리 떨어진 창고와 좁은 2차선 도로로 이어진 것이라면, HBM은 공장 바로 옆에 고층 창고를 세우고 수백 차선짜리 넓은 통로를 뚫어 놓은 것과 같습니다. 다만 이 고층 창고는 짓기 어렵고 비싸서 아무 데나 지을 수는 없습니다.

어떻게 작동하나

HBM은 D램 칩을 여러 층으로 쌓고, 칩에 아주 작은 구멍을 뚫어 위아래를 전기 통로로 직접 잇습니다(이를 TSV, 실리콘 관통 전극이라고 부릅니다). 이렇게 쌓은 묶음을 GPU 같은 연산 칩과 같은 받침판 위, 바로 옆에 붙여 놓습니다. 거리가 짧고 연결 통로가 매우 많기 때문에 한 번에 흘려보낼 수 있는 데이터의 양, 즉 대역폭이 일반 메모리보다 훨씬 큽니다. HBM3, HBM3E, HBM4처럼 뒤에 붙는 숫자는 세대를 뜻하며, 세대가 올라갈수록 대체로 더 빠르고 더 많이 담습니다.

HBM의 쌓은 구조 왼쪽 기둥은 D램 칩을 여러 층 쌓은 HBM 묶음이고, 층 사이는 TSV로 바로 이어집니다. 묶음은 GPU 바로 옆에 붙어 넓은 통로로 데이터를 주고받습니다(층 수는 예시).

왜 중요한가

대형 AI 모델은 수많은 파라미터와 중간 계산 결과를 메모리에서 계속 꺼내 와야 합니다. 이때 연산 칩이 아무리 빨라도 메모리에서 데이터가 늦게 오면 기다리느라 놀게 되는데, 이를 흔히 '메모리 병목'이라고 부릅니다. HBM은 이 병목을 줄여 주기 때문에 AI 학습·추론용 GPU와 가속기에 사실상 필수 부품이 되었습니다. 그래서 AI 붐과 함께 HBM을 만드는 메모리 회사들의 실적과 경쟁이 업계의 큰 관심사가 되었습니다.

알아 둘 점

HBM은 칩을 정밀하게 쌓고 연결하는 공정이 까다로워 일반 메모리보다 훨씬 비싸고, 생산량을 빨리 늘리기도 어렵습니다. 그래서 AI 칩 공급이 부족할 때 HBM 물량이 원인으로 꼽히기도 합니다. 또 연산 칩 바로 옆에 붙여야 하므로 용량을 마음대로 늘리기 어렵고, 열 관리도 중요한 과제입니다. 스마트폰이나 일반 PC에는 비용과 전력 때문에 HBM 대신 다른 종류의 메모리가 주로 쓰입니다.

예시

AI 데이터센터에 들어가는 GPU와 AI 가속기는 대부분 칩 옆에 HBM 여러 묶음을 붙인 형태로 나옵니다. 이 사이트에 실린 소식 중에는 AMD 리사 수 CEO가 HBM4를 탑재한 제품의 출하를 시작했다고 언급했다는 보도가 있는데, 새 세대 AI 칩이 나올 때마다 어떤 세대의 HBM을 얼마나 붙였는지가 핵심 사양으로 함께 소개됩니다. 삼성전자처럼 HBM을 만드는 메모리 회사의 실적 소식이 AI 업계 뉴스로 다뤄지는 것도 이 때문입니다.

HBM 고대역폭 메모리

어떻게 작동하나

왜 중요한가

알아 둘 점

예시

이 사이트에서 나온 사례

함께 보면 좋은 용어