로컬 LLM Local LLM, llama.cpp·Ollama

어떻게 작동하나

오픈웨이트 모델 파일을 내려받아 내 기기의 GPU·CPU 메모리에 올리고, 추론 엔진이 이를 읽어 답을 만든다. llama.cpp는 가벼운 추론 엔진으로, 주로 GGUF 형식의 양자화 모델을 읽어 일반 PC에서도 돌아가게 한다. Ollama는 모델 내려받기·실행·로컬 API 제공을 명령어 한 줄로 묶어 준 도구다. 앱은 내 컴퓨터 안의 주소로 요청을 보내 클라우드 API처럼 쓸 수 있다.

감 잡는 법

가장 먼저 볼 것은 메모리다. 가중치 메모리는 대략 '파라미터 수 × 숫자 하나의 바이트 수'이고, 여기에 KV 캐시 같은 여유분이 더 든다. 예시로 70억(7B) 파라미터 모델을 4비트(약 0.5바이트)로 양자화하면 가중치만 3.5GB 남짓이 된다. 모델 이름의 7B·Q4 같은 표기와 GGUF 파일 크기를 보면 내 VRAM이나 통합 메모리에 들어갈지 짐작할 수 있다.

알아 둘 점

데이터가 밖으로 나가지 않고 호출당 요금이 없다는 장점이 있지만, 큰 클라우드 모델만큼의 성능을 기대하면 실망하기 쉽다. 양자화를 세게 할수록 메모리는 줄지만 답의 품질이 떨어질 수 있다. 모델마다 라이선스가 달라 상업 이용이 막힌 경우도 있으니 확인해야 한다. 내려받는 모델 파일과 도구도 출처를 확인해야 하는 공급망 보안 대상이다.

예시

보안 규정 때문에 사내 문서를 외부 API로 보낼 수 없는 팀이 Ollama로 오픈웨이트 모델을 사내 서버나 개발자 노트북에 띄워 쓰는 경우가 흔하다. 이 사이트 소식에는 Ollama가 Apple Silicon에서 MLX 런타임을 기본으로 쓰도록 바뀌었다는 업데이트가 있었는데, 같은 모델이라도 기기에 맞는 실행 엔진에 따라 체감 속도가 달라질 수 있다는 점을 보여 준다.

이 사이트에서 나온 사례

• 브리핑 Ollama v0.40.0, Apple Silicon에서 MLX 런타임 기본 적용 2026-10-07
• 브리핑 GitHub, Copilot 로컬 샌드박싱 정식 출시…CLI 로컬 모델 탐색·유출 시크릿 탐지 전용 모델도 공개 2026-10-07

함께 보면 좋은 용어

오픈웨이트 GGUF 양자화 추론 엔진 VRAM 온디바이스 AI