论文解读 · 2026年10月15日
Jeva：以决策结构为基本原理设计的 System One 模型
Jeva: System One Models from First Principles
设计了一种决策专用结构：将请求与候选选项分别编码，只根据候选集合更新请求状态。由此同时获得了不受顺序影响的选择、明确的“不适用”判定以及候选表示缓存。
问题
工具选择、文档识别、条件判定、打分等需要直接做出简短决策的 System One 模型，通常把请求和候选拼接成一段文本进行编码。这种方式存在四个问题。候选顺序改变，决策也可能随之改变。答案符号数量固定，难以增加候选数量。无法区分“没有合适的候选”与“候选之间相互竞争”。反复出现的候选也需要在每次请求时重新计算。
方法
共享语言编码器（Qwen3.5-4B）将请求和每个候选独立向量化。随后，一个轻量的决策块通过 attention 读取固定的候选记忆，只更新请求状态。由于采用对称聚合和共享打分函数，打乱候选顺序只会让概率以相同方式重新排列，候选数量增加时输出参数也不会增加。在候选间的竞争分布（softmax）之外，另设一个 coverage 门控，根据最高分单独估计“至少存在一个有效候选的概率”。借助该门控可以明确输出 null 结果。候选向量和各层的 key/value 投影与请求无关，因此可以在请求之间缓存。训练使用 rank-64 LoRA 和决策头（13.37M 参数）进行。
结果
- BANKING77（K=16）准确率为 91.62%，高于对比模型中排名第二的 Jev-1.13.0（82.50%）。但在 Typed Test 上为 78.30%，略低于 InternDecision-4B（78.70%）
- 在 Choice 顺序变换实验中，决策发生改变的比例（Flip）为 0.00%。对比模型为 17~85%
- Noul Brier 分数为 0.0184，低于 InternDecision-4B（0.0340）（越低越好）
- 作者报告称，在 2,048 个候选上，其准确率高于递归选择基线，中位延迟快 2 倍以上
- 作者报告称，在新组合的长文档候选集上，通过跨请求的缓存复用，在决策不变的情况下将中位延迟降低了 20 倍以上
局限
主要实验仅限于 Qwen3.5-4B 骨干加 1 个决策块的配置。在部分基准（Typed Test）上略低于现有模型。每段文本的编码器长度限制依然存在。顺序不变性是以精确算术运算为前提的性质，平局处理和有限精度的影响需要另行处理。所提供的正文在中途被截断，因此未能确认训练数据构成和详细实验条件。
意义
在大量处理工具路由、文档选择、分类等简短决策的服务中，顺序敏感性、“不适用”处理和延迟是实际的运维问题。本论文提出了在结构层面解决这三个问题的设计方案。
关键术语
- System One 模型
- 不以文本形式生成推理过程，而是直接输出选项概率或分数等结构化决策的低延迟模型。
- Permutation equivariance（置换等变性）
- 指打乱候选顺序时，输出概率也只是按相同顺序重新排列、数值保持不变的性质。因此无论以何种顺序输入，都会选中同一个候选。
- Coverage 门控
- 在候选之间的相对竞争之外，单独估计“是否至少存在一个合适候选”的概率的机制。它使模型能够明确输出“无答案（null）”。
- Option memory 缓存
- 由于候选表示的计算与请求无关，当同一候选在其他请求或其他组合中再次出现时，可直接复用已保存的计算结果。
原文
作者: Qi Li, Xinchao Wang · 发布 2026-10-13 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。