llama.cpp PR 'llama_moe_cache': VRAM에 없는 MoE Expert를 CPU에서 실행하고 튜닝 스크립트 추가…저사양 GPU 오프로딩 속도 개선(커뮤니티 전언)
확인된 내용 (사실)
ggml-org/llama.cpp 저장소에 PR #30966 'llama_moe_cache'가 올라왔다. 캐시에 없는 MoE Expert를 CPU에서 계산하도록 하고, 설정을 맞추는 튜닝 스크립트를 함께 넣었다. Reddit 게시자는 VRAM이 적은 환경에서 MoE 오프로딩 속도가 크게 빨라진다고 소개했다. 병합 여부는 자료에서 확인되지 않는다.
의미 (해석)
대형 MoE 모델을 소비자 GPU로 돌리려는 로컬 사용자에게 실질적인 속도 개선이 될 수 있다.
신뢰도 보통 · 공식 출처 확인 전
출처
ggml-org 관련 다른 소식
-
llama.cpp, 첫 정식 메이저 버전 v1.0.0 출시…Hugging Face는 llama.cpp 기반 'Llama' 데스크톱 앱도 배포
로컬 LLM 추론 엔진 llama.cpp가 v1.0.0을 내놓았고, Hugging Face 블로그에 'llama.cpp v1.0.0' 글이 올라왔다. 이 글은 v1.0.0을 로컬 AI 생태계의 더 튼튼한 기반으로 소개한다. Reddit...