논문 리뷰 · 2026년 11월 17일
Mobile AI Factory: 내 스마트폰에 맞춘 특화 언어 모델 자동 생성
Mobile AI Factory: Building Specialized Language Models for Your Mobile Device
에이전트가 데이터·하이퍼파라미터·모델 크기·양자화를 탐색하고 실제 폰 측정값을 반영해, 작업과 기기에 맞는 소형 언어 모델을 자동으로 만들었다.
문제
기기에서 직접 도는 소형 언어 모델(SLM)은 프라이버시와 오프라인 동작에 유리하다. 하지만 작업별 파인튜닝과 기기별 크기·양자화·런타임 선택을 전문가가 반복해서 맞춰야 한다. 같은 설정이라도 폰마다 성능이 크게 달라 사양서만 보고는 예측하기 어렵다.
방법
Orchestrator LLM(Claude Sonnet 5)이 반복마다 개입 하나를 고른다. 하이퍼파라미터 조정, 실제 데이터 추가 수집, Teacher 모델(Qwen3.6-35B-A3B)을 이용한 실패 유형별 합성 데이터 생성 중 하나다. 정확도가 떨어지면 고정 규칙에 따라 롤백한다. 9개 기반 모델(135M~4B)×3개 정밀도(4/8/16bit)를 합친 27개 조합을 크기별 5개 버킷으로 나누고, 작은 버킷부터 탐색해 개선이 멈추면 다음 버킷으로 넘어간다. 정확도 목표는 Teacher의 5-shot 점수로 정하되 최저 0.8로 둔다. 쉽게 도달하면 목표를 올린다. 폰 프로파일러는 각 폰을 한 번만 측정하고 결과를 모든 작업에 재사용한다. 모델·양자화·런타임(llama.cpp/MNN)·백엔드(CPU/GPU) 조합별로 prefill·decode 속도, 메모리, 에너지를 실측한다. 정확도는 실제 배포할 양자화 결과물 기준으로 채점한다.
결과
- 미공개 테스트셋에서 Factory가 만든 온디바이스 모델은 10개 작업 중 5개에서 5-shot Claude Sonnet 5와 DeepSeek v4 Flash를 0.024~0.342 앞섰고, 3개에서는 비슷했다. 생의학 개체 추출에서는 517MB 모델이 0.828로 Claude(0.652)보다 높았다.
- 생의학 개체 추출에서 버킷 탐색은 27개 조합을 모두 학습한 결과와 0.03 이내 차이였다. 사용한 GPU 시간은 19분의 1이었다.
- 실측값 없이 전체 하드웨어·모델 사양만 받은 Claude Opus 5.5는 쉬운·중간 난이도에서 25%, 어려운 경우에서 60% 비율로 앱 요구사항을 충족하지 못하는 설정을 골랐다.
- 폰 측정에서 llama.cpp의 GPU prefill은 OnePlus 15에서 CPU보다 5.4배 빨랐지만 OnePlus 8 Pro에서는 7.4배 느렸다. 같은 모델의 decode 속도는 폰 간 최대 42배 차이가 났다.
- 같은 가중치라도 MNN 기본 4bit 변환은 파인튜닝된 SmolLM2-360M의 151-way 의도 분류 점수를 0.767(llama.cpp Q4_K_M)에서 0.659로 떨어뜨렸다.
한계
평가는 Android 폰 4종과 작업 10개로 한정된다. 런타임은 llama.cpp·MNN, 백엔드는 CPU·GPU만 다루고 NPU는 다루지 않는다. 속도 프로파일은 4bit에서 Q4_0과 MNN 기본 변환으로 측정했지만 정확도는 Q4_K_M·HQQ로 채점해, 측정과 채점에 쓴 포맷이 다르다. GPU decode 속도는 세션 간 10~20% 변동이 있다. 학습은 서버의 L40S GPU 2장에서 이뤄진다.
의미
기기 파편화가 심한 모바일 환경에서 작업별·기기별 SLM 구축을 자동화하는 방향을 보여준다. 특히 'LLM에게 사양서만 주고 판단을 맡기면 안 되고 실측이 필요하다'는 점과 런타임에 따라 양자화 정확도가 달라진다는 점은 온디바이스 AI 배포팀에 바로 쓸 수 있는 교훈이다. 코드가 공개되어 있다.
핵심 용어
- SLM(Small Language Model)
- 수억~수십억 파라미터 규모의 작은 언어 모델이다. 스마트폰 같은 기기에서 직접 실행할 수 있다.
- 양자화
- 모델 가중치를 4bit·8bit처럼 낮은 정밀도로 표현해 크기와 연산량을 줄이는 기법이다. 변환 방식에 따라 정확도 손실이 다르다.
- Prefill / Decode
- Prefill은 입력 프롬프트를 한 번에 처리하는 단계이고, Decode는 토큰을 하나씩 생성하는 단계다. 기기마다 빠른 백엔드가 다를 수 있다.
- LoRA
- 원래 가중치는 고정하고 작은 저랭크 행렬만 학습하는 효율적인 파인튜닝 기법이다.
원문
저자: Evan Li, Krishna Deshpande, Wen Cheng, Shyamnath Gollakota · 게시 2026-11-10 · 라이선스 CC BY-SA 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.