AI 용어집 · 기초 · 효율·인프라
TPU 텐서 처리 장치
TPU(Tensor Processing Unit)는 구글이 딥러닝 계산, 특히 행렬 곱셈을 빠르게 하려고 직접 설계한 AI 전용 칩이다.
어떻게 작동하나
딥러닝 계산의 대부분은 큰 행렬끼리 곱하는 일이다. TPU는 이 행렬 곱셈을 처리하는 회로를 칩의 중심에 크게 두어, 같은 전력으로 더 많은 행렬 연산을 하도록 만들었다. 여러 TPU 칩을 전용 연결망으로 묶은 'Pod' 단위로 큰 모델을 학습시킨다. 프로그램은 XLA라는 컴파일러가 TPU에 맞게 바꿔 실행한다.
어디서 보게 되나
TPU는 따로 사서 쓰는 제품이 아니라 주로 구글 클라우드에서 빌려 쓴다. 구글 클라우드 가격표와 인스턴스 목록, 구글 Colab의 런타임 선택 메뉴에서 볼 수 있다. 코드 쪽에서는 JAX가 가장 자연스럽게 맞고, TensorFlow와 PyTorch(XLA 연동)도 쓸 수 있다. 연구 논문의 실험 환경 설명에 'TPU에서 학습했다'는 문장이 나오기도 한다.
왜 중요한가
NVIDIA GPU 말고도 대규모 AI를 학습·서빙할 수 있는 대표적인 선택지다. 구글은 자사 모델을 TPU로 학습·서빙하는 것으로 알려져 있다. 빅테크가 자체 AI 칩을 만드는 흐름의 대표 사례이기도 하다. GPU 공급이 빠듯할 때 대안으로 검토된다.
알아 둘 점
CUDA로 짠 코드나 CUDA 전용 커널은 TPU에서 그대로 돌지 않는다. 오픈소스 추론 엔진이나 최신 기법이 GPU용으로 먼저 나오는 경우가 많아, TPU에서는 지원을 따로 확인해야 한다. 성능 비교는 칩 하나끼리보다 같은 작업을 같은 비용으로 얼마나 처리하느냐로 보는 편이 현실적이다. 사용처가 사실상 구글 클라우드로 묶인다는 점도 고려 대상이다.
GPU와 TPU
GPU(NVIDIA)범용 병렬 칩
- CUDA 생태계가 넓음
- 여러 클라우드·직접 구매 가능
- 새 기법이 먼저 지원되는 편
TPU(구글)AI 전용 칩
- 행렬 곱셈에 특화
- 주로 구글 클라우드에서 사용
- JAX·XLA와 잘 맞음
공통 둘 다 대규모 모델 학습·추론에 쓰인다
예시
한 스타트업이 모델 학습 인프라를 고를 때, 이미 JAX로 코드를 짜 왔다면 구글 클라우드의 TPU를 후보에 올린다. 반대로 PyTorch와 CUDA 전용 추론 엔진에 기대는 서비스라면 코드 수정 부담을 따져 GPU 클라우드를 유지하는 쪽을 택하기도 한다.