← 2026년 11월 10일 브리핑 · 12:00 업데이트로 추가
ModelBest, 다음 레이어 Expert를 미리 불러오는 'LES' 기법 공개…35B MoE를 iPhone에서 초당 20.51토큰, 코드 오픈소스(보도)
확인된 내용 (사실)
Pandaily에 따르면 ModelBest는 35B MoE 모델을 휴대폰에서 돌리는 데 쓴 기법 LES의 세부를 공개했다. LES는 휴대폰 플래시 저장소에서 다음 레이어에 필요한 Expert를 미리 읽어 오는(prefetch) 스케줄링 방식이다. 회사는 iPhone에서 초당 20.51토큰을 냈다고 밝혔으며, 이는 기준 구현보다 6.07배 빠른 수치다. 측정 조건은 회사 자체 보고이며, 코드는 오픈소스로 공개했다.
팩트체크 필요 (주장)
ModelBest: iPhone에서 초당 20.51토큰, 기준 대비 6.07배.
의미 (해석)
메모리가 부족한 기기에서 MoE의 희소성을 이용해 저장소 접근 지연을 숨기는 접근이다. 이 방식이 통한다면 수십B급 모델을 온디바이스로 돌리는 문턱이 낮아진다.
신뢰도 보통 · 공식 출처 확인 전
출처
ModelBest 관련 다른 소식
-
ModelBest·OpenBMB, 1.3B 문서 인식 모델 'MiniCPM-OCR 1.0'과 결과를 원본과 대조해 오류를 찾는 2B 'MiniCPM-OCR Jev' 오픈소스 공개(보도)
인공지능신문 보도에 따르면 중국 ModelBest와 오픈소스 커뮤니티 OpenBMB가 10월 31일 모델 두 개를 오픈소스로 공개했다. 'MiniCPM-OCR 1.0'(1.3B 파라미터)은 문서 내용을 읽어 내고, 'MiniCPM-OCR...
-
칭화대 THUNLP·ModelBest·OpenBMB, 오픈소스 에이전트 운영체제 'PilotDeck 2.0' 공개…메모리 직접 확인·수정, 쉬운 하위 작업은 경량 모델로(보도)
Pandaily에 따르면 칭화대 THUNLP, ModelBest, OpenBMB가 오픈소스 에이전트 운영체제 'PilotDeck 2.0'을 공개했다. 프로젝트마다 별도의 WorkSpace를 두어 서로 섞이지 않게 하고, 에이전트 메모리를...