← 주요 논문

논문 리뷰 · 2026년 11월 17일

Mobile AI Factory: 내 스마트폰에 맞춘 특화 언어 모델 자동 생성

Mobile AI Factory: Building Specialized Language Models for Your Mobile Device

효율·인프라에이전트언어 모델 중급 추천 17 cs.CL University of Washington

에이전트가 데이터·하이퍼파라미터·모델 크기·양자화를 탐색하고 실제 폰 측정값을 반영해, 작업과 기기에 맞는 소형 언어 모델을 자동으로 만들었다.

문제

기기에서 직접 도는 소형 언어 모델(SLM)은 프라이버시와 오프라인 동작에 유리하다. 하지만 작업별 파인튜닝과 기기별 크기·양자화·런타임 선택을 전문가가 반복해서 맞춰야 한다. 같은 설정이라도 폰마다 성능이 크게 달라 사양서만 보고는 예측하기 어렵다.

방법

Orchestrator LLM(Claude Sonnet 5)이 반복마다 개입 하나를 고른다. 하이퍼파라미터 조정, 실제 데이터 추가 수집, Teacher 모델(Qwen3.6-35B-A3B)을 이용한 실패 유형별 합성 데이터 생성 중 하나다. 정확도가 떨어지면 고정 규칙에 따라 롤백한다. 9개 기반 모델(135M~4B)×3개 정밀도(4/8/16bit)를 합친 27개 조합을 크기별 5개 버킷으로 나누고, 작은 버킷부터 탐색해 개선이 멈추면 다음 버킷으로 넘어간다. 정확도 목표는 Teacher의 5-shot 점수로 정하되 최저 0.8로 둔다. 쉽게 도달하면 목표를 올린다. 폰 프로파일러는 각 폰을 한 번만 측정하고 결과를 모든 작업에 재사용한다. 모델·양자화·런타임(llama.cpp/MNN)·백엔드(CPU/GPU) 조합별로 prefill·decode 속도, 메모리, 에너지를 실측한다. 정확도는 실제 배포할 양자화 결과물 기준으로 채점한다.

결과

한계

평가는 Android 폰 4종과 작업 10개로 한정된다. 런타임은 llama.cpp·MNN, 백엔드는 CPU·GPU만 다루고 NPU는 다루지 않는다. 속도 프로파일은 4bit에서 Q4_0과 MNN 기본 변환으로 측정했지만 정확도는 Q4_K_M·HQQ로 채점해, 측정과 채점에 쓴 포맷이 다르다. GPU decode 속도는 세션 간 10~20% 변동이 있다. 학습은 서버의 L40S GPU 2장에서 이뤄진다.

의미

기기 파편화가 심한 모바일 환경에서 작업별·기기별 SLM 구축을 자동화하는 방향을 보여준다. 특히 'LLM에게 사양서만 주고 판단을 맡기면 안 되고 실측이 필요하다'는 점과 런타임에 따라 양자화 정확도가 달라진다는 점은 온디바이스 AI 배포팀에 바로 쓸 수 있는 교훈이다. 코드가 공개되어 있다.

핵심 용어

SLM(Small Language Model)
수억~수십억 파라미터 규모의 작은 언어 모델이다. 스마트폰 같은 기기에서 직접 실행할 수 있다.
양자화
모델 가중치를 4bit·8bit처럼 낮은 정밀도로 표현해 크기와 연산량을 줄이는 기법이다. 변환 방식에 따라 정확도 손실이 다르다.
Prefill / Decode
Prefill은 입력 프롬프트를 한 번에 처리하는 단계이고, Decode는 토큰을 하나씩 생성하는 단계다. 기기마다 빠른 백엔드가 다를 수 있다.
LoRA
원래 가중치는 고정하고 작은 저랭크 행렬만 학습하는 효율적인 파인튜닝 기법이다.

원문

저자: Evan Li, Krishna Deshpande, Wen Cheng, Shyamnath Gollakota · 게시 2026-11-10 · 라이선스 CC BY-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.