论文解读 · 2026年10月8日
EviSkill：基于可重新执行证据的智能体技能演化
EVISKILL: Grounding Skill Evolution in Replayable Evidence
将每次技能修改所依据的执行片段打包为证据卡，通过重新执行进行验证，并在多个轮次间保留和精炼修改，改进了LLM智能体的技能演化。
问题
LLM智能体无需改变模型参数，就能从交互经验中创建并修改可复用的技能文档。然而，现有基于经验的方法会丢失作为修改依据的行为证据和上下文。此外，由于在整体验证中被淘汰的修改方案会被整体丢弃，其中有效的单项修改也一并消失。
方法
由三个阶段组成。(1) 基于证据的修改生成：LLM从轨迹中将修改建议及其依据的轨迹片段记录为Replayable Evidence Card，并将卡片打包生成候选修改。(2) 重新执行验证：恢复到依据片段之前的状态。在该状态下用修改后的技能重新执行该片段，由LLM评估器判定accept、reflect或reject。若为reflect，则根据反馈进行修改。(3) 跨轮次证据传播：仅在验证集性能提升时才更新Validated Skill。即便被淘汰，得到重新执行支持的修改也会暂存于Provisional Edit Ledger，并在下一轮次反映到Working Skill中，未解决的卡片也会结转。
结果
- 在预研究中，将Trace2Skill生成的修改在原任务上重新执行，结果不一。改善、无变化和恶化均有出现，表明从轨迹得出的修改并不保证带来改善。
- 表明从在整体验证中被淘汰的修改方案里只挑选部分修改保留，在相关任务上的性能可能优于上一个经验证的技能。
- 作者报告，在3个交互基准和6个LLM骨干模型上，相较现有技能演化基线（Trace2Skill等）取得了一致的提升。分析表明，重新执行过滤掉了缺乏依据的修改，跨轮次传播则有助于后续精炼。
局限
由于所提供的正文在方法说明中途中断，未能确认主实验的基准名称和数值。证据提取、修改和评估全部由LLM承担，因此判定质量依赖于该LLM。重新执行需要能够复现轨迹前段以恢复状态的环境，可适用的环境可能受限。重新执行也会带来额外成本。
意义
在自动修改智能体技能时，使“为何这一修改是正当的”能够被追踪和验证。这是一种降低错误修改不断累积风险的实用设计模式。
关键术语
- 技能演化（Skill Evolution）
- 基于执行经验，反复修改智能体所使用的流程指导文档（技能）的过程。不改变模型权重。
- Replayable Evidence Card
- 将提出的技能修改及其依据的轨迹片段（任务、轮次、起止步）一起记录的单元。之后可重新执行该片段进行验证。
- Provisional Edit Ledger
- 暂存尚未通过整体验证、但得到重新执行支持的修改的列表。在下一轮次中继续测试和精炼。
原文
作者: Yan Zhou, Yili Wang, Yiwei Dai, Qinggang Zhang, Xin Wang · 发布 2026-10-04 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。