AI 术语表 · 入门 · 效率与基础设施
端侧 AI
端侧 AI 是指不在网络另一端的服务器上，而是直接在智能手机、笔记本电脑、汽车等设备内运行 AI 模型的方式。数据不发送到外部，而是在设备上生成回答。
通俗解释 这就像遇到不懂的事时，不是每次都给远方的专家打电话，而是翻开口袋里的简明百科。速度快，也不会留下通话记录，但百科比专家“薄”，面对难题有其局限。
工作原理
通常的 AI 服务会把用户的问题通过网络发送到数据中心，由服务器上的大模型生成回答再返回。端侧 AI 则在设备内完成这一过程。设备的内存和电力远少于服务器，因此会使用缩小后的小模型（SLM），或配合使用量化等降低数值精度、让模型变轻的技术。计算由专门用于 AI 运算的 NPU 芯片或设备的 GPU 承担。
为什么重要
数据不离开设备，因此照片、消息、语音等个人信息可以得到更安全的处理。没有往返服务器的时间，响应更快，断网时功能也能运行。对服务公司而言，可以减少随用户增长而增加的服务器成本。因此，智能手机和 PC 厂商纷纷打出“AI 设备”的旗号，强调这种方式。
注意事项
设备内的模型较小，在复杂推理或长文写作上可能不如云端大模型。因此常见的是混合方式：简单任务在设备上处理，困难任务交给服务器。繁重的计算也会影响电池和发热。此外，即使号称“端侧”，是否所有功能都只在设备内处理也因服务而异，最好确认相关说明。
示例
最新智能手机的照片物体消除、通话实时翻译、录音摘要等功能，相当一部分是以端侧 AI 提供的。笔记本电脑厂商也推出了配备 NPU 的“AI PC”，主打无需联网即可生成会议字幕或总结文档的功能。