AI 용어집 · 입문 · 효율·인프라
NPU 신경망 처리 장치
NPU(Neural Processing Unit, 신경망 처리 장치)는 인공 신경망 계산만 빠르고 전기를 적게 쓰면서 처리하도록 따로 설계한 반도체 칩입니다. AI 모델을 돌리는 일에 특화된 '전용 계산기'라고 보면 됩니다.
어떻게 작동하나
AI 모델이 하는 계산은 대부분 숫자를 곱하고 더하는 일을 엄청나게 많이 반복하는 것입니다. NPU는 이 곱셈·덧셈 장치를 칩 안에 잔뜩 깔아 두고 한꺼번에 돌리도록 만들어졌습니다. 또 정밀도가 조금 낮은 숫자(양자화된 숫자)로 계산해 속도를 높이고 전력을 아끼는 경우가 많습니다. 범용 칩인 CPU나 그래픽용에서 출발한 GPU와 달리, 처음부터 신경망 계산만 염두에 두고 회로를 짰다는 점이 핵심입니다.
왜 중요한가
AI 모델을 쓰는 곳이 데이터센터를 넘어 스마트폰, 노트북, 자동차, 카메라 등으로 넓어지고 있습니다. 이런 기기는 배터리와 발열 때문에 전기를 많이 쓰는 칩을 넣기 어렵기 때문에, 적은 전력으로 AI를 돌리는 NPU가 온디바이스 AI의 핵심 부품이 됩니다. 데이터센터에서도 GPU에 대한 의존을 줄이고 비용을 낮추기 위해 추론(인퍼런스) 전용 NPU를 만드는 회사가 늘고 있습니다. 여러 나라가 자국 AI 반도체를 키우려는 소버린 AI 흐름과도 맞닿아 있습니다.
알아 둘 점
NPU는 회사마다 이름이 다르고(TPU, AI 가속기 등) 구조도 제각각이라 하나의 표준 제품을 가리키는 말은 아닙니다. 특정 계산에 최적화된 만큼, 새로운 형태의 모델이 나오면 소프트웨어 지원이 따라가지 못해 성능을 다 못 내는 경우가 있습니다. 그래서 칩 자체의 성능만큼 개발 도구와 소프트웨어 생태계가 중요합니다. 또 대규모 모델을 처음부터 학습시키는 일은 여전히 GPU가 주로 맡고, NPU는 학습된 모델을 실행하는 추론 쪽에 더 많이 쓰입니다.
예시
요즘 나오는 스마트폰과 'AI PC'라고 부르는 노트북에는 CPU·GPU 옆에 NPU가 함께 들어가, 사진 보정이나 음성 인식, 실시간 번역 같은 기능을 인터넷 연결 없이 기기 안에서 처리합니다. 이 사이트에 실린 소식 중에는 국내 기업 모빌린트가 자체 설계한 NPU가 누리호 5차 발사의 부탑재위성에 실려 우주로 간다는 보도가 있는데, 전력과 무게가 제한된 위성에서도 AI 계산을 하려는 시도입니다. 또 AMD가 자사 CPU·GPU와 국산 NPU를 묶은 이기종 인프라를 추진한다는 보도처럼, 여러 종류의 칩을 섞어 쓰는 구성도 늘고 있습니다.