Harness适配器：调整的不是模型，而是“工作环境”

为什么需要：只换模型，harness就不匹配

智能体并不是由语言模型单独运作的。观察什么、如何调用工具、如何实际执行动作、如何返回失败信息、何时停止——决定这些的执行框架包裹着模型，这被称为harness（智能体harness）。Life-Harness研究（paper）指出，智能体不仅由模型塑造，也由负责观察、工具使用、动作执行、反馈解读和轨迹（行为记录）控制的运行时harness塑造。

问题在于，harness通常是针对特定前沿模型设计的。根据SLM harness优化研究（paper），前沿LLM智能体推理成本高，难以大规模部署。但为了降低成本，把SLM（小语言模型）直接放进为前沿模型设计的harness中，性能通常达不到预期。因为harness没变，只是模型变小了。

迄今为止，让智能体适配业务的方法主要是通过微调或强化学习修改模型参数。Life-Harness（paper）认为，在规则明确、结果确定（deterministic）的领域，相当多的失败并非源于模型能力不足，而是源于模型与环境之间接口的错位。这种情况下，需要修改的不是模型，而是接口，也就是harness。Harness适配器正是从这一观察中产生的。

核心思想：不换人，而是调整工作台

工厂来了新工人时，有时会对其重新培训，但很多时候把夹具（辅助作业的工装）和作业指导书改得适合这个人的操作会更快。Harness适配器也是同样的思路：固定模型权重，把模型工作的“工作台”——指令、工具、执行顺序——按照该模型和该业务进行调整。

SLM harness优化研究（paper）这样解释这一思路的依据：业务难度的相当一部分并非因个案而异，而是在多个案例中共同出现。既然是共同的难点，就不必让模型每次自己摸索，只需以定制指令、工具、编排循环的形式一次性放入harness即可。研究人员将此表述为把难点从模型“转移”到harness。

这种方式的取舍也很明确。微调把能力写入模型内部，因此换到其他harness也能在一定程度上保持，但需要训练成本和数据，也无法用于不公开权重的API模型。Harness适配无需训练即可直接应用，并以人类可读的形式保留下来，但容易与该模型、该业务的组合绑定。因此，harness适配器更接近于寻找“适合这个模型的harness”，而不是寻找“适用于任何模型的最佳harness”。

如何运作：从失败到harness修改

自动harness适配大致按以下顺序进行。第一，用固定的模型多次运行训练任务，收集轨迹。第二，检查失败的轨迹，划分失败类型。SLM harness优化研究（paper）构建了一个将智能体失败类型与harness适配策略配对的框架，并让元智能体（修改其他智能体的智能体）从失败轨迹中自动寻找有效的修改。

第三，生成修复失败的修改方案。修改什么，各研究的划分方式略有不同。SLM harness优化研究（paper）调整了指令、工具和编排循环。Life-Harness（paper）把反复出现的交互失败转化为四类可复用的干预：明确写出与环境约定的“环境契约”、包含流程的“程序性技能”、把模型所说的动作转化为实际执行的“动作实现”，以及防止执行流程跑偏的“轨迹调节”。

第四，评估修改方案，只保留有改进的部分。第五，这样得到的harness在评估阶段保持固定，用于未见过的任务。Life-Harness（paper）用训练轨迹演化harness、评估时将其固定，就是一个例子。模型权重和评估环境自始至终不变，这是与微调最大的不同。

发展脉络：起点研究的新贡献

Life-Harness（paper）明确提出了“修改接口，而不修改模型”的立场。研究在AgentBench、τ-bench、τ²-bench、AppWorld的8个环境中用18个开放权重模型进行评估；以Qwen3-4B-Instruct为基准，在共同的7个环境的平均准确率上，分别比现有的自动harness方法Meta-Harness和AHE高出28.7个百分点和7.5个百分点，优化所用的token分别少8.5%和68.4%。把这样演化出的harness接到GPT 5.5、Opus 4.8、Gemini 3.1 Pro等前沿模型上时，平均也提升了3.5个百分点。

SLM harness优化研究（paper）正面处理了成本问题。在7个业务型智能体任务与3个SLM系列组合成的21对中，有16对经过优化的harness显著提升了性能，7对弥合了SLM与LLM的性能差距。最好的SLM智能体以4%的成本达到了LLM性能的89.7%。研究人员总结称，在许多日常业务中，与适配后的harness搭配的SLM能以低90%的成本达到与LLM相当的性能。

也有研究把适配对象从整个harness缩小到其中的组件。RASO（paper）关注智能体技能，即在特定harness中引导智能体做好工作的可复用自然语言文档。尽管公开的技能已积累数百万个，现有方法仍只依靠昂贵的rollout（实际执行）来修改技能。RASO提出了“Cross-Harness Adaptation”，从外部技能库中检索相关知识，并迁移到目标任务和harness上。它分为不经rollout生成初始技能的阶段（RASI）和根据执行反馈进行检索与修改的阶段（RASU），在4个基准和2个模型上稳定优于没有基于检索的初始化和更新的基线。

Harness适配也扩展到了安全和训练方向。HASTE（paper）仅凭威胁报告中的简短描述或少量攻击示例等稀少的证据来演化harness。它让生成安全规范的一方与生成攻击案例的一方相互对抗，在多种模型和攻击类型上降低了攻击成功率，同时保持了正常任务的效用。ScienceBuddy（paper）将harness演化与模型强化学习结合为双循环：内循环固定模型、修改harness，外循环在改进后的harness下训练模型。其思路是harness改变训练经验，而训练后的模型又为新的harness适配创造机会。

匹配度为何会变：模型与harness的相互作用

Harness适配器之所以值得单独讨论，从模型-harness匹配度研究（paper）中可以清楚看出。研究人员把4个可配置的harness（OpenHands、DeepSeek Harness、PI、openJiuwen）、5个模型，以及Codex-GPT和Claude Code-Claude等厂商自有组合合在一起，在TUA-Bench、ALE-CLI、Terminal-Bench 4上比较了66种配置。为此，他们构建了把多个模型连接到多个harness的适配器，并公开了该适配器、评估代码以及6,204条已评分的轨迹。

结果表明，离开harness，“好模型”这一说法并不成立。在Terminal-Bench 4上，Claude在OpenHands中比GPT领先7.94分，但在PI中落后30.16分。5个模型中有4个在基准变化时最优harness也随之改变。模型厂商自己的harness并不总是最优，花更多成本也不会让分数上升。在Terminal-Bench 4上，GPT在PI中的得分高于在DeepSeek Harness中，而每个任务的成本还不到后者的四分之一。

研究人员对比同一任务的轨迹来寻找原因。修复几乎总是由模型自己发起，因此harness是否以模型可用的形式返回失败信息，很大程度上决定成败。GPT在简洁的PI中表现最好，而经常产生格式错误的工具调用的Kimi在openJiuwen中三个基准都拿到了最高分。该研究的结论是，模型、harness和任务必须一起评估。这也是设计harness适配器时要先问“这个模型常犯什么错误”的原因。

当前的发展方向

第一个方向是不修改单一harness，而是按任务组装harness。STITCH（paper）认为，harness的各项机制（上下文收集、工具调用、验证、状态保持、终止）因任务不同，有时有益，有时会成为负担或分散注意力，因此单一固定的harness不可能是最优的。但如果每个任务都重新生成harness代码，生成和调试成本以及执行风险会不断累积。因此，它从失败轨迹中挖掘适用范围和组合规则明确的可复用组件（“Harness Primitives”），在测试时只挑选与任务信息匹配的组件进行组装。与固定harness相比，任务成功率最多提升12分；组件库越大，性能越好，并且也超过了Codex CLI等人工设计的harness。

第二个方向是让评估环境与harness一同演化。HERA（paper）研究的是识别无法完成的任务并停止的“智能体弃权”能力。为了解决仅针对固定任务集优化harness会难以应对未见过的失败类型这一问题，它有意改造可完成的任务来生成应当弃权的任务，并持续生成针对此前弱点的新环境。演化后的harness把弃权准确率从61.7%提高到83.3%，把可完成任务的完成率从68.3%提高到76.7%。该harness无需针对模型优化，迁移到另外19个LLM上也使弃权准确率平均提高15.3个百分点，并让小模型在成本降低约85%的同时达到与大模型相当的性能。

第三个方向是让运行中的持续学习更加安全。VIGIL（paper）在电子表格问答中利用之后才到达的正确答案标签改进harness，但固定基础模型、提示词和检索器，只更新契约校正器和列选择器。仅这一小范围的更新就使准确率从静态基线的75.8%提高到82.0~82.4%，在更严格的划分中，留出数据的平均准确率从80.3%提高到86.7%。仅更新校正器就提升了5.9分，接近全部更新的6.4分。这是一种把“允许改动harness的哪些部分”限定得很窄的设计。

局限与争议，以及实践判断标准

何时使用。根据SLM harness优化研究（paper）的分析，harness适配在工作流重复的任务和基础能力足够的SLM上效果最好。21对中性能显著提升的有16对，其余仅靠harness还不够。Harness只能减轻共同的难点，并不能赋予模型本不具备的能力。如果是每个任务要求差异很大的开放性问题，微调或更大的模型可能更合适。

常见错误1：认为通过了门控就是安全的。在VIGIL（paper）中，门控批准的26次更新中有3次在留出数据上的准确率低于前一版本。研究人员写道，即使在回放缓冲区（重新运行过去数据的检查）中没有退化，也不意味着在未见过的数据上没有退化。Harness修改可能过拟合训练轨迹，因此必须用未参与适配的留出集另行确认。

常见错误2：把在一个组合中得到的结论直接套用到另一个组合。正如模型-harness匹配度研究（paper）所示，模型排名和最优harness会随harness和基准而反转。更换模型时需要重新评估harness，也不要假设厂商的harness或昂贵的配置就是最优的。反过来，也有像Life-Harness（paper）和HERA（paper）那样迁移到其他模型后收益仍然保留的案例，因此迁移效果要通过测量而不是假设来确认。

常见错误3：只留下结果数字而不留证据。智能体安全评估研究（paper）指出，即使任务成功率、攻击成功率相同，其背后的证据水平也可能差别很大。该研究构建了一个跨harness适配器，接收多个harness的执行记录，并为每个决策出具“证据充分性卡片”；表面上读起来结果相同的4个输入，其充分性得分在0.458~0.833之间不等，而且所有被评分的记录都未满足重新执行的前提条件。Harness越是自动演化，能够还原“改了什么、为什么改”的记录就越重要。安全规则也包含在harness中，因此出现新攻击时，需要像HASTE（paper）那样用攻击案例重新验证的循环。

延伸学习

初次接触的话，建议先读SLM harness优化研究（paper）。它从业务角度梳理了为什么能把难点转移到harness、如何将失败类型与适配策略配对，以及在哪些任务上效果好。接着看Life-Harness（paper）中环境契约、程序性技能、动作实现、轨迹调节这一干预分类，就能了解harness的哪些部分可以修改。

对于选择模型的从业者，模型-harness匹配度研究（paper）是必读的，还可以用公开的适配器和6,204条轨迹自己进行比较。如果想按任务使用不同的harness，可以接着看STITCH（paper）；如果想以技能为单位复用，可以看RASO（paper）。

如果负责运营和安全，可以依次阅读VIGIL（paper）的门控设计及其局限、HERA（paper）的弃权评估、HASTE（paper）的攻击应对演化，以及智能体安全评估的证据还原指标（paper）。至于harness与模型训练一起运转的全局图景，ScienceBuddy（paper）的双循环结构展示得很清楚。