小型语言模型（SLM）与端侧AI：在口袋里运行的AI

为什么需要小模型

大语言模型（LLM）通常运行在巨型数据中心里，用户通过互联网发送问题并接收回答。性能虽好，但需要付出代价。心理健康预测模型Menta（paper）的研究指出，LLM的规模和计算量阻碍了实际部署。印度法律模型Quecto-V1（paper）的研究则指出，最新的法律AI大多依赖70亿（7B）以上参数和云端推理，在资源匮乏的场景中难以使用，还会带来数据主权风险。

端侧AI是指不在服务器上、而在用户设备内完成这些计算的方式。一项将SLM集成到手机游戏中的案例研究（paper）把其优势概括为“不依赖云端、数据不离开设备的完全离线私有AI”。端侧护栏LiteLMGuard（paper）的研究也将增强隐私、降低延迟、无需服务器即可运行列为优势。

问题在于，手机的内存、电池和芯片性能无法与数据中心相比。因此，需要小到能装进设备的模型，即小型语言模型（SLM）。“小”并没有固定标准。本文涉及的研究中，既有约1.2亿参数的模型，也有数十亿参数的模型，还有在消费级GPU上运行的300亿参数模型。可以理解为，标准不在于规模，而在于“能否在目标设备上运行”。

核心思路：用专职助理代替万能百科全书

打个比方，云端LLM就像设有所有科室的大型综合医院，而端侧SLM则是装在口袋里的单一领域专职助理。专职助理无法回答世上所有问题，但能快速、安静地处理分内的工作，也不会把文件带到外面去。

关键在于“只要收窄范围，小模型也能做得足够好”。Menta（paper）利用社交媒体帖子，同时学习了抑郁、压力、自杀风险等6项分类任务。结果，与未经微调的SLM中表现最好的模型相比，任务平均提升了15.2%。在抑郁和压力分类上，其准确率高于规模约大3.25倍的130亿（13B）参数LLM。Quecto-V1（paper）放弃广泛的世界知识，选择最大化法律领域的“词汇密度”，在法律条文精确匹配任务上超过了通用SLM。

当然，代价也很明确。在广泛的通用知识、长而复杂的多步推理、严格遵守格式的稳定性方面，它们都弱于大模型。因此，端侧AI的设计与其说是决定“模型要做多大”，不如说是决定“把什么交给模型、什么不交给模型”。

如何运作

1）收窄任务并选择模型。可以使用现有模型，也可以从头构建。Quecto-V1（paper）采用GPT-2架构构建了1.24亿参数的模型，并仅用印度法律法规资料从头训练。

2）针对任务进行训练。常用方法是LoRA：原模型的权重大部分保持不变，只训练少量附加矩阵，以较低成本定制模型。Menta（paper）在基于LoRA的框架中采用了混合多个数据集的策略，并使用考虑类别不平衡的损失函数进行训练。针对函数调用等智能体任务的TinyLLM（paper）比较了SFT（监督微调）、参数高效微调、强化学习、DPO（直接偏好优化），以及将它们组合的混合方法。

3）通过量化进行压缩。量化是用更少的比特表示权重数值、从而缩小文件和内存占用的技术。Quecto-V1在训练后应用8比特量化，并制成GGUF文件。模型体积缩小74%，降至150MB以下，可在普通CPU上完全离线运行。

4）在设备的内存和功耗范围内运行。Menta展示了在iPhone 15 Pro Max上以约3GB RAM实时运行。功耗问题需要单独处理。DVFSLM（paper）针对SLM重新设计了DVFS（动态电压频率调节），即根据情况调节芯片电压和时钟频率的技术。在逐个生成token的自回归生成过程中，频率、功耗和延迟相互交织，十分复杂。GPU、CPU和内存控制器（EMC）各自对功耗和延迟的贡献从外部也无法看到。研究指出，正因如此，现有方法会造成能量浪费或响应变慢。

5）在模型外部设置安全机制。在输入阶段设置过滤危险问题的护栏，在输出阶段设置格式检查和失败时的回退。这部分将在后面的局限一节中详细讨论。

发展脉络：从证明有用到运行与安全

作为出发点的研究都发表于2025～2026年。因此，与其说这是一条漫长的历史谱系，不如更准确地将其看作同一时期三个方向同时得到充实的趋势。

第一是证明“小也有用”。Menta（paper）和Quecto-V1（paper）在心理健康和法律这两个狭窄领域展示了小模型的价值。TinyLLM（paper）将范围扩展到工具和API调用等智能体任务。用伯克利函数调用排行榜（BFCL）评估TinyAgent、TinyLlama、Qwen、xLAM等模型后发现，10亿～30亿（1～3B）参数的模型明显优于10亿以下的超小型模型。采用混合优化时，整体准确率最高为65.74%，多轮准确率为55.62%。

第二是“实际运行的问题”。DVFSLM（paper）研究了能耗。手机游戏案例研究（paper）将Gemma 4 E2B（2.6B）和Qwen3 0.6B集成到安卓文字游戏Palabrita中，5天内累积了204次提交（其中约90次与AI相关），在此过程中大幅修改了最初的设计。

第三是“安全与隐私”。LiteLMGuard（paper）提出了一种附加在量化SLM前端的轻量级问题过滤器。个人信息替换研究（paper）不是用[PERSON]之类的占位符删除个人信息，而是将其替换为同类的虚假值，整个过程全部在设备内完成。由15亿参数的MoE分类器识别个人信息片段，由1比特的Bonsai-1.7B为姓名、地址、日期提供替换值，由基于规则的生成器处理格式固定的项目。

最新动向

一个趋势是“小”的标准随设备性能而提高。Muse Glimmer（paper）将300亿（30B）参数模型量化到约4比特，使其能在单张GPU上推理。它接受文本和图像输入，在一个模型中集成了多步推理、工具使用和失败恢复，作为能在消费级设备上无需云端运行的智能体模型发布，并以Apache 2.0许可证开源。手机用的1～3B模型和桌面用的数十B模型都处于同一个“本地运行”趋势之中。

另一个趋势是重心从模型架构转向训练数据和评估的设计。代接电话研究（paper）研究了机主不在时，手机在不向外发送通话内容的情况下代为应答的场景。现有小模型会对普通来电者也发出不必要的警告，在摘要中遗漏重要条件，或把来电者的说法写成事实。由于真实通话没有标准答案，研究人员划分信息边界来生成合成通话：扮演来电者的作者只看到非公开情景，应答作者只看到截至当前轮次的对话，摘要作者只看到结束后的完整对话。由此生成了3,395通通话和15,102个训练目标。对6个0.6～4B模型训练一个LoRA适配器后，应答合格率从21～54%升至94～97%，摘要合格率从0～6%升至43～72%。

两者合起来看：能在设备上运行的模型规模上限由硬件决定；在此范围内，真正决定质量的是如何构建适合任务的数据，以及如何定义“合格”。

局限与争议

量化可能连安全性也一并改变。LiteLMGuard（paper）警告称，压缩过程会同时带来公平性、伦理和隐私风险，量化后的SLM即使没有越狱之类的攻击，也可能直接回答有害问题。该研究的对策是在模型前端过滤问题：基于ELECTRA的分类器以97.75%的准确率判断“是否可以回答该问题”。在设备内平均约135ms即可完成过滤，对有害问题的防御率超过85%。

小模型经常违反格式和指令。手机游戏案例（paper）将失败分为五类：输出格式违规、约束条件违规、上下文质量下降、延迟不匹配、模型选择不稳定。最初让模型生成包含单词、分类、难度和五条提示的完整JSON谜题。在最终结构中，单词从预选列表中获取，模型只生成三条简短提示，失败时返回预定结果。配合使用的技术包括多层防御性解析、告知失败内容的重试、会话替换、逐步收紧的提示词，以及减少模型责任。

模型还会照抄示例。在个人信息替换研究（paper）中，给出三个固定示例后，1比特SLM无论输入是什么，都原样输出示例的答案。1.58比特模型也出现了同样的失败，可见并非量化所致。改为从匹配语言区域的示例集中针对每个输入抽取不同示例后，482次调用全部成功。不过研究也指出，在小规模示例集中照抄数值的倾向仍然存在。

效率数据因语言而异。根据分词器覆盖范围研究（paper），TinyLlama-1.1B的分词器平均将一个拉丁字母单词切分为1.34个token，而卡纳达语单词则被切成22.60个。由于词表中几乎没有该文字，只能按字节切分，却不会出现“未知token”标记，因此从表面上看不出来。结果，在2048个token的上下文窗口中，英语用户可以放入1,528个单词，而卡纳达语用户只能放入91个。研究人员得出结论：真正的限制在于词表，而不是参数量。

实际选型时的考量

适合端侧SLM的情况包括：数据不能离开设备时（心理健康、通话内容、个人信息），需要在无网络环境下运行时（法律现场、资源匮乏的环境），以及任务范围窄且重复时（分类、短文本生成、固定的工具调用）。反之，如果核心需求是需要广泛知识的自由问答或长而复杂的规划，那么使用大模型或把部分工作交给云端的方案更为现实。对于智能体任务，正如TinyLLM（paper）的结果所示，10亿以下的模型性能可能大幅下降，因此从1～3B开始考虑更为稳妥。

常见错误有四种。第一，一开始就把整个结果交给模型。像案例研究（paper）那样，让代码和数据负责固定部分、模型只生成小片段，会更稳定。第二，只看用英语测得的内存和速度数据就决定多语言服务。应先用目标语言测量每个单词的token数。第三，量化后不重新进行安全性评估。第四，保留固定的few-shot示例不变。需要检查输出是否在照抄示例。

电池和发热也应作为功能需求来处理。正如DVFSLM（paper）所指出，小模型同样耗能很多，这会影响应用质量和设备可靠性。需要养成不仅测准确率、还同时测量每次响应所需时间和功耗的习惯。

延伸阅读

如果是初次接触，建议先读Menta（paper）和Quecto-V1（paper）。通过简短的案例，可以看到“LoRA微调 → 量化 → 设备运行”这一基本流程，以及小模型在狭窄任务上与大模型相抗衡的情形。

如果计划开发产品，手机游戏案例研究（paper）最为实用。它整理了五类失败及应对技术，适合用作设计检查清单。如果考虑智能体功能，可以通过TinyLLM（paper）了解不同模型规模和训练方法带来的差异。

如果关注安全和多语言问题，可以接着阅读LiteLMGuard（paper）、个人信息替换研究（paper）和分词器覆盖范围研究（paper）。Muse Glimmer（paper）和代接电话研究（paper）很好地反映了最新方向。如果对能耗感兴趣，可以阅读DVFSLM（paper）。