本地 LLM
本地 LLM 是指不使用云端 API，而是把模型下载到自己的电脑、笔记本或公司内部服务器上直接运行的语言模型。llama.cpp、Ollama 等工具让这一过程变得简单。
通俗解释 这类似于把电影下载下来看，而不是在线播放。没有网络也能看，记录也不会外传，但只能在自己设备的性能和存储空间范围内运行。
工作原理
下载开放权重模型文件，加载到自己设备的 GPU·CPU 内存中，由推理引擎读取并生成回答。llama.cpp 是一个轻量推理引擎，主要读取 GGUF 格式的量化模型，使其在普通电脑上也能运行。Ollama 则把模型下载、运行和提供本地 API 整合为一行命令。应用向本机地址发送请求，就能像使用云端 API 一样使用它。
本地 LLM 的层次
- 应用·聊天界面向本地地址发送请求
- 运行工具Ollama 等：下载·运行·API
- 推理引擎llama.cpp 等
- 模型文件GGUF 量化权重
- 自己的设备GPU·CPU·内存
如何估算
首先要看内存。权重占用的内存大约是“参数量 × 每个数字的字节数”，此外还需要 KV 缓存等额外空间。例如，把 70 亿（7B）参数的模型量化到 4 比特（约 0.5 字节），仅权重就约 3.5GB 多一点。看模型名称中的 7B、Q4 等标记以及 GGUF 文件大小，就能大致判断能否装进自己的显存（VRAM）或统一内存。
注意事项
它的优点是数据不外传、没有按调用计费，但如果期待它达到大型云端模型的性能，很容易失望。量化越激进，内存占用越少，但回答质量可能下降。各模型的许可证不同，有些禁止商业使用，需要确认。下载的模型文件和工具同样属于需要核实来源的供应链安全对象。
示例
因安全规定不能把公司内部文档发送到外部 API 的团队，常用 Ollama 在内部服务器或开发者笔记本上部署开放权重模型。本站新闻中曾报道 Ollama 在 Apple Silicon 上改为默认使用 MLX 运行时，这说明即使是同一个模型，所用的执行引擎是否适配设备也会影响实际速度。
本站出现过的地方
- 简报 Ollama v0.40.0 在 Apple Silicon 上默认采用 MLX 运行时 2026-10-07
- 简报 GitHub 正式推出 Copilot 本地沙箱……同时发布 CLI 本地模型探索及泄露密钥检测专用模型 2026-10-07