llama.cpp

소개

llama.cpp는 LLM과 VLM 추론을 C/C++로 실행하는 오픈소스 프로젝트다. 내 컴퓨터에 설치해 모델을 내려받고 바로 실행할 수 있다.

설치 스크립트, Docker, 미리 빌드된 실행 파일, 소스 빌드 가운데 하나로 설치한다. llama cli 명령으로 Hugging Face에 올라온 GGUF 모델을 내려받아 대화하고, llama serve 명령으로 OpenAI 호환 API 서버와 내장 웹 UI를 띄운다.

오픈 모델을 로컬에서 가볍게 돌리거나, 직접 API 서버를 띄워 앱과 연결하려는 개발자에게 맞다.

이런 데 씁니다

• Hugging Face의 GGUF 모델을 내려받아 터미널에서 대화한다.
• OpenAI 호환 API 서버를 띄워 내 앱에서 모델을 호출한다.
• 내장 웹 UI로 로컬 모델과 대화한다.
• 이미지를 함께 넣는 VLM 세션을 실행한다.

가격·라이선스

MIT 라이선스

시작하기

1. curl -LsSf https://llama.app/install.sh | sh 로 설치한다(Windows는 irm https://llama.app/install.ps1 | iex).
2. llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF 로 모델을 내려받아 실행한다.
3. API 서버가 필요하면 llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF 를 실행한다.

링크

공식 사이트 ↗저장소 ↗

관련 용어·기업

로컬 LLM GGUF 추론 엔진 VLM Hugging Face

출처

• ggml-org/llama.cpp README

공개 자료(공식 페이지·README)를 근거로 정리했습니다. 가격·기능은 바뀔 수 있으니 공식 사이트에서 확인하세요.