开源 · ★ GitHub 星标 131,106 (截至 2026-10-14)
llama.cpp
llama.cpp 是一个用 C/C++ 运行 LLM 推理的开源引擎。
简介
llama.cpp 是一个用 C/C++ 运行 LLM 和 VLM 推理的开源项目。可安装在自己的电脑上，下载模型后直接运行。
可通过安装脚本、Docker、预编译可执行文件或源码编译中的任一方式安装。使用 llama cli 命令下载 Hugging Face 上的 GGUF 模型并进行对话，使用 llama serve 命令启动兼容 OpenAI 的 API 服务器和内置 Web UI。
适合希望在本地轻量运行开放模型，或自行启动 API 服务器与应用对接的开发者。
用途
- 下载 Hugging Face 上的 GGUF 模型，在终端中对话。
- 启动兼容 OpenAI 的 API 服务器，在自己的应用中调用模型。
- 通过内置 Web UI 与本地模型对话。
- 运行可同时输入图像的 VLM 会话。
价格与许可
MIT 许可证
快速上手
- 使用 curl -LsSf https://llama.app/install.sh | sh 安装（Windows 使用 irm https://llama.app/install.ps1 | iex）。
- 使用 llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF 下载并运行模型。
- 如需 API 服务器，运行 llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF。
链接
相关术语与企业
近期简报提及
来源
根据公开资料（官方页面、README）整理。价格和功能可能变化，请以官方网站为准。