CUDA 쿠다, NVIDIA GPU 프로그래밍 플랫폼

어떻게 작동하나

GPU는 원래 그래픽을 그리려고 만든 칩이지만, 같은 계산을 동시에 아주 많이 하는 데 강하다. CUDA는 이 능력을 일반 프로그램이 쓸 수 있게 해 주는 언어 확장, 컴파일러, 드라이버, 라이브러리 묶음이다. 개발자가 직접 CUDA 코드를 짜는 일은 드물고, 보통 PyTorch 같은 딥러닝 프레임워크가 cuDNN·cuBLAS 같은 CUDA 라이브러리를 대신 불러 쓴다. 그래서 사용자는 코드에서 모델을 'cuda' 장치로 옮기기만 하면 GPU에서 계산이 돌아간다.

어디서 보게 되나

PyTorch 설치 페이지에서 'CUDA 12.x용' 같은 빌드를 고르는 칸이 가장 흔한 만남이다. 터미널에서 nvidia-smi를 실행하면 드라이버가 지원하는 CUDA 버전이 표시된다. 도커 이미지 이름이나 추론 엔진 설치 안내에도 CUDA 버전이 붙어 있다. 오류 메시지에 'CUDA out of memory'가 나오면 GPU 메모리(VRAM)가 모자란다는 뜻이다.

왜 중요한가

AI 생태계의 라이브러리와 최적화 코드 대부분이 CUDA를 기준으로 먼저 만들어진다. 그래서 NVIDIA GPU가 AI 시장에서 강한 이유를 하드웨어만이 아니라 CUDA 생태계에서 찾는 경우가 많다. 새 기법이 나오면 CUDA용 구현이 가장 먼저 공개되는 일이 흔하다. 반대로 다른 회사 칩으로 옮기려면 이 소프트웨어 차이를 메워야 한다.

알아 둘 점

CUDA는 NVIDIA GPU 전용이다. AMD GPU는 ROCm, 구글 TPU는 XLA 같은 별도 소프트웨어를 쓴다. 설치 문제의 상당수는 드라이버, CUDA 툴킷, 프레임워크 빌드의 버전이 서로 맞지 않아 생긴다. 'GPU가 있는데 느리다'면 먼저 프레임워크가 실제로 CUDA를 인식하는지부터 확인하는 것이 좋다.

예시

로컬에서 오픈웨이트 모델을 돌려 보려는 개발자는 먼저 nvidia-smi로 드라이버가 지원하는 CUDA 버전을 확인하고, 그보다 높지 않은 CUDA 빌드의 PyTorch를 설치한다. 추론 엔진 문서에 'CUDA 12 이상 필요'라고 적혀 있으면 드라이버를 먼저 올려야 한다. 이 사이트의 'Long-WAM' 같은 연구 소식에 나오는 모델들도 대개 이런 CUDA 기반 환경에서 학습·실험된다.

이 사이트에서 나온 사례

• 논문 Long-WAM: World-Action 모델의 컨텍스트 확장 2026-10-09

함께 보면 좋은 용어

GPU TPU VRAM 추론 엔진 FlashAttention GPU 클라우드