AI 术语表 · 基础 · 语言模型 · 效率与基础设施 · 安全与对齐
Decision model
决策模型是一种 AI 模型,它不生成文字,而是以概率判断输入属于预先设定的选项中的哪一个。例如,判定某篇内容是否违反政策。
是什么/有何不同
普通的 LLM(大语言模型)收到问题后会用文字写出长篇回答。决策模型输出的不是文字,而是各个结果的概率。例如,它会告诉你“这条消息属于禁止项”和“不属于禁止项”各有多大可能。由于选项是预先确定的,它比 LLM 运行得更快、更便宜,这被认为是两者最大的区别。
工作原理
其内部采用与 LLM 相同的 Transformer 结构,因此保留了读懂并理解用平实语言写成的规则或政策的灵活性。不过它把输出限定在少数几个预设选项上,跳过了逐字生成长回答的过程。因此,它既能像以往使用的简单分类器那样快速判定,又能应用复杂的标准。另一个被提及的优点是:判断标准变化时无需重新训练模型,只需交给它新的标准文件即可。
为何受到关注
据 TechCrunch 报道,TypeSafe AI 于 9 月推出了决策模型“Jev”,随后 OpenAI 和 Amazon 也相继发布了竞争模型,这一领域由此成为热门话题。早期被提及最多的用途是监控 AI 智能体,防止其做出出格的行为。现在,其用途正扩展到审核用户发布内容的内容审核。本地运行工具 Ollama 也表示从 v0.40.0 起在 Apple 芯片 Mac 上支持若干决策模型,在个人电脑上运行这类模型也变得更容易了。
注意事项(局限)
以概率作答并不意味着判断总是正确。模型可能判断错误却表现出很高的把握。一项用 Jev 验证财务报告依据引用的研究中,模型漏掉了数字相同但引用了错误条目的情况。同时,它也会出现不支持另一条正确引用的情况,研究报告指出,善于抓出错误与保留正确依据之间存在此消彼长的关系。另一项研究则在标题中提出了这样一个问题:这类模型可能更容易被选项的名称标签牵着走,而不是被附在选项上的定义。由于这是新兴领域,术语范围和性能评估仍在不断梳理之中。
示例
内容审核公司 Musubi 以开放权重形式发布了用于实时审核的轻量级决策模型“PolicyLM-1.7B”。它把用平实英语写成的内容政策应用到消息上,判定每条消息是否属于政策所规定的类别。该公司表示,单条处理时间在 50 毫秒以内,成本和速度与社交平台上使用的现有分类器相当。该公司还强调,政策变化时无需重新训练,因此政策负责人可以频繁修改标准。