AI 용어집 · 입문 · 효율·인프라
온디바이스 AI On-device AI
온디바이스 AI는 AI 모델을 인터넷 너머의 서버가 아니라 스마트폰·노트북·자동차 같은 기기 안에서 바로 돌리는 방식이다. 데이터를 밖으로 보내지 않고 기기에서 답을 만든다.
어떻게 작동하나
보통 AI 서비스는 사용자의 질문을 인터넷으로 데이터센터에 보내고, 서버의 큰 모델이 답을 만들어 돌려준다. 온디바이스 AI는 이 과정을 기기 안에서 끝낸다. 기기의 메모리와 전력은 서버보다 훨씬 적기 때문에, 크기를 줄인 작은 모델(SLM)을 쓰거나 숫자 정밀도를 낮춰 모델을 가볍게 만드는 양자화 같은 기법을 함께 쓴다. 계산은 AI 연산에 특화된 칩인 NPU나 기기의 GPU가 맡는다.
왜 중요한가
데이터가 기기를 떠나지 않으니 사진·메시지·음성 같은 개인 정보를 더 안전하게 다룰 수 있다. 서버를 오가는 시간이 없어 반응이 빠르고, 인터넷이 끊겨도 기능이 동작한다. 서비스 회사 입장에서는 사용자가 늘어날수록 커지는 서버 비용을 줄일 수 있다. 그래서 스마트폰·PC 제조사들이 'AI 기기'를 내세우며 이 방식을 강조한다.
알아 둘 점
기기 안의 모델은 작기 때문에 복잡한 추론이나 긴 글 작성에서는 클라우드의 큰 모델보다 성능이 떨어질 수 있다. 그래서 간단한 일은 기기에서, 어려운 일은 서버로 넘기는 혼합 방식이 흔하다. 무거운 계산은 배터리와 발열에도 영향을 준다. 또 '온디바이스'라고 해도 모든 기능이 기기 안에서만 처리되는지는 서비스마다 다르므로 설명을 확인하는 것이 좋다.
예시
최신 스마트폰의 사진 속 물체 지우기, 통화 내용 실시간 번역, 녹음 요약 같은 기능 중 상당수가 온디바이스 AI로 제공된다. 노트북 제조사들도 NPU를 넣은 'AI PC'를 내놓고, 인터넷 연결 없이 회의 자막을 만들거나 문서를 요약하는 기능을 앞세운다.