AI 용어집 · 기초 · AI 플랫폼·솔루션
GPU 클라우드 GPU Cloud
GPU 클라우드는 GPU 서버를 직접 사지 않고 클라우드 업체에서 시간 단위 등으로 빌려 AI 학습·추론에 쓰는 서비스다.
용어 정보
- 난이도
- 기초 · 소식을 읽을 때 자주 만나는 기술 용어
- 카테고리
- 인프라·모델 활용
- 추가
- 2026-10-12
어떻게 작동하나
클라우드 업체가 GPU 서버를 데이터센터에 갖춰 두고, 사용자는 원하는 GPU 종류와 개수를 골라 '인스턴스'로 빌린다. 대형 종합 클라우드뿐 아니라 GPU 대여에 특화한 업체들도 있다. 빌리는 방식은 보통 바로 쓰고 바로 끄는 온디맨드, 기간을 약정해 할인받는 예약, 남는 자원을 싸게 쓰되 언제든 회수될 수 있는 스팟으로 나뉜다. 모델을 올리기만 하면 되는 추론 API형 서비스도 넓게 보면 같은 흐름에 있다.
GPU를 빌리는 세 가지 방식
온디맨드바로 빌리고 바로 반납
- 유연함
- 단가가 높은 편
예약기간 약정
- 할인받음
- 오래 쓸 때 유리
- 약정 기간 동안 묶임
스팟남는 자원
- 가장 저렴한 편
- 언제든 회수될 수 있음
- 체크포인트 저장 필수
공통 모두 GPU 종류·개수·시간으로 비용이 정해진다
어디서 보게 되나
클라우드 가격표에서 'GPU 종류 × 개수 × 시간당 가격' 형태로 본다. 인스턴스 이름이나 설명에 GPU 모델명, GPU 메모리(VRAM), GPU 간 연결 방식, 네트워크 대역폭이 적혀 있다. 감을 잡는 법은 '시간당 가격 × 사용 시간 × 대수'로 학습·실험 비용을 어림하고, 같은 일을 직접 산 서버로 할 때와 비교하는 것이다.
왜 중요한가
GPU는 비싸고 구하기 어려워, 대부분의 기업과 연구자는 클라우드로 연산 자원을 쓴다. 실험 초기에는 작게 시작해 필요할 때만 늘릴 수 있다는 점이 큰 장점이다. 최신 GPU를 직접 사지 않고도 써 볼 수 있다. 반대로 꾸준히 많이 쓰는 서비스는 예약 계약이나 자체 구축을 비교해 비용을 줄인다.
알아 둘 점
같은 GPU 이름이라도 VRAM 용량, NVLink 여부, 서버 간 네트워크가 인스턴스마다 다르니 사양을 꼼꼼히 봐야 한다. 인기 GPU는 원하는 지역에 재고가 없을 수 있다. GPU 요금 외에 저장소, 데이터 전송(특히 밖으로 내보내는 트래픽) 비용이 따로 붙는다. 민감한 데이터를 다룬다면 데이터가 어느 나라·지역에 저장되는지와 보안 인증도 확인해야 한다.
예시
오픈웨이트 모델을 파인튜닝하려는 팀은 먼저 필요한 VRAM을 어림한 뒤, GPU 클라우드 가격표에서 그 메모리를 가진 인스턴스를 고른다. 짧은 실험은 스팟으로 싸게 돌리고 체크포인트를 자주 저장해 회수에 대비하며, 실제 서비스용 추론 서버는 온디맨드나 예약으로 안정적으로 운영한다.