AI 용어집 · 입문 · 효율·인프라
GPU 그래픽 처리 장치
GPU(그래픽 처리 장치)는 원래 화면을 그리려고 만든 칩으로, 단순한 계산을 수천 개씩 동시에 처리하는 데 강하다. 이 특성 덕분에 오늘날 AI 모델을 학습시키고 돌리는 핵심 장비가 되었다.
어떻게 작동하나
화면의 수많은 점(픽셀) 색을 동시에 계산하려고 GPU에는 작은 계산 장치가 아주 많이 들어 있다. AI 모델의 계산도 대부분 거대한 숫자 표(행렬)를 곱하는 비슷한 일의 반복이라서 GPU 구조와 잘 맞는다. 모델의 파라미터와 중간 계산값을 빠르게 주고받으려고 HBM 같은 고속 메모리를 칩 가까이에 붙인다. 큰 모델은 GPU 한 대로 감당이 안 되기 때문에 수천~수만 대를 고속 네트워크로 묶어 함께 쓴다.
왜 중요한가
LLM 같은 대형 모델은 학습에 막대한 계산이 필요하고, 서비스할 때(추론)도 계속 계산이 든다. 그래서 GPU를 얼마나 확보하느냐가 AI 회사의 경쟁력과 직결된다. GPU 공급이 부족해 가격이 오르거나, 기업·국가가 대규모 GPU 구매 계획을 발표하는 일이 뉴스가 되는 이유다. 데이터센터 전력 문제도 결국 GPU가 쓰는 전기와 연결된다.
알아 둘 점
AI 계산에 GPU만 쓰이는 것은 아니다. 특정 AI 연산만 하도록 설계한 NPU나 각 회사의 전용 칩도 늘고 있다. 또 하드웨어만큼 소프트웨어 생태계가 중요해서, 개발 도구와 라이브러리가 잘 갖춰진 회사의 GPU가 더 널리 쓰이는 경향이 있다. 같은 모델이라도 양자화 같은 기법으로 필요한 GPU 자원을 줄일 수 있다.
예시
이 사이트에서는 GPU를 둘러싼 인프라 소식이 자주 등장한다. 'AMD 리사 수 CEO 방한' 소식에서는 AMD의 CPU·GPU와 국산 NPU를 하나로 묶은 이기종 인프라를 추진한다는 내용이 다뤄졌는데, GPU와 다른 AI 칩을 함께 쓰는 흐름을 보여 준다. 또 NVIDIA가 GPU 쿠버네티스 클러스터 구성 검증 도구 'AICR v1.0'을 공개한 소식처럼, 많은 GPU를 묶어 제대로 운영하는 소프트웨어도 중요한 주제가 되고 있다.
이 사이트에서 나온 사례
- 브리핑 SpaceX, NVIDIA GPU 121만 개 확보 위해 최대 400억 달러 조달 추진(보도) 2026-10-08
- 브리핑 NVIDIA, GPU 쿠버네티스 클러스터 구성 검증 도구 'AICR v1.0' 공개 2026-10-07
- 브리핑 AMD 리사 수 CEO 방한…국내 'AI CoE' 설립·연구인력 채용, AMD CPU·GPU와 국산 NPU 묶은 이기종 인프라 추진(보도) 2026-10-07