Harness 工程：在模型之外进行设计，让智能体值得信赖

为什么需要：仅靠更换模型解决不了的问题

大语言模型（LLM）的用途已从一次回答就结束的聊天机器人扩展开来。如今它们也被用于调用工具、修改真实文件、连续执行多个步骤的工作。Doc2Harness（paper）指出，在这类长期任务中，智能体的表现既取决于模型，也同样取决于围绕模型的 Harness。Harness（智能体 Harness）是在模型之外把提示词、工具、记忆和编排逻辑组合起来的系统层（范畴论架构研究（paper））。编排是指决定以什么顺序运行多个步骤和智能体的控制。

SemaClaw（paper）把 2026 年初 OpenClaw 出现、数百万人开始在日常生活中使用个人 AI 智能体的时间点视为转折点。其观点是，从那时起，AI 工程的重心正从提示词工程和上下文工程转向 Harness 工程。该研究认为，模型能力越趋于接近，产品之间的差异就越来自 Harness 层。

问题在于，这一层长期以来都是靠手工打磨的技艺。即使给出相同的任务和相同的工具，LLM 智能体每次运行的行为也不同。确定性约束研究（paper）指出，这种偏差用于探索尚可，但在金融、合规等受监管领域是不可接受的。范畴论架构研究（paper）认为 Harness 设计是即兴的（ad hoc），即既缺乏组合组件的原理，也缺乏在框架之间进行比较的系统理论。

核心思想：给力气大的马配上合适的挽具

英语中的 harness 原指套在马身上的挽具。力气大的马自己也能跑，但要有缰绳、轭和车，才能把货物运往想去的方向。在这个比喻中，LLM 是马，Harness 则是把这股力量转化为工作的整套挽具。Harness 工程就是设计这套挽具的工作。

与提示词和上下文相比，区别就很清楚了。提示词工程处理的是如何拉缰绳，即指令的措辞。上下文工程处理的是让马看到什么，即放进上下文窗口的信息。Harness 工程则更进一步，还要决定允许使用哪些工具、由谁检查结果、失败后重试几次、把任务状态留在哪里。SemaClaw（paper）将其描述为设计一整套基础设施，把不受约束的智能体变成可控、可审计、在生产运行中可信赖的系统。

范畴论架构研究（paper）把智能体移到模型之外的能力归纳为记忆、技能、协议和 Harness 工程四大支柱，并把整个 Harness 视为将它们组合起来的“架构”本身。也就是说，Harness 不是单个组件，而是把组件连接起来的方式。

如何运作：一轮的运行过程

Harness 处理一轮的流程大致如下。这是把多项研究中出现的组件按一般顺序串起来的结果，并非所有 Harness 都完全照此顺序。

第一，构建上下文。挑选系统提示词、当前任务所需的技能（可复用的工作指南集合）以及之前的工作记录，放入模型。SemaClaw（paper）为此设置了三层上下文管理结构。第二，模型提出下一步行动，决定是否调用工具、以什么参数调用。第三，Harness 不会直接执行该提议，而是先进行检查。SemaClaw 的 PermissionBridge 是负责行动安全的权限层。确定性约束研究（paper）用五个组件搭建 Harness：只允许在既定状态之间移动的有限状态控制、强制工具选择、输出验证、重试次数上限，以及结构化计划。

第四，通过检查的行动在沙箱等隔离环境中作为工具执行，结果保存在状态存储中。第五，把该结果重新反映到上下文中，进入下一轮。NORA（paper）列出了研究智能体 Harness 的五个要素：在特定时间点自动运行的生命周期钩子、安全门、生成器与评估器的分离、人在回路（human-in-the-loop）以及状态持久化。该研究认为，这些要素使可信、可复现的自主研究成为可能。

这一结构的核心是“模型做决定，Harness 负责许可、验证和记录”的分工。即使模型给出错误的行动，Harness 也可以将其过滤掉或让模型重试，还可以收窄范围，使相同输入走相同路径。

发展脉络：从构建走向自动化与度量

从 2026 年春季起，标题中带有“Harness 工程”的研究接连出现。第一条脉络是实际构建 Harness 并加以展示。SemaClaw（paper）是一个开源多智能体框架，包含基于 DAG（用箭头连接任务之间先后关系的图）的两阶段混合智能体团队编排、PermissionBridge、三层上下文管理，以及自动积累个人知识库的 wiki 技能。NORA（paper）借助 21 个领域技能、9 个专业子智能体和定制的 MCP 服务器，运行空间数据科学研究的全过程。

第二条脉络是让 Harness 脱离人工的自动化与理论化。AHE（Agentic Harness Engineering，paper）列举了自动化困难的三个原因：可修改的组件形态各异；轨迹（Trajectory，智能体的行动记录）过于庞大，有用信号被淹没；难以分辨哪项修改产生了效果。AHE 针对这些问题设置了三种机制：为每个组件提供可回滚的文件级表示；把数百万 token 的记录蒸馏成可逐层深入查看的证据包；并为每项修改附上预期效果，用下一轮的结果加以验证。据其报告，经过 10 次迭代，Terminal-Bench 2 的 pass@1（一次成功的比例）从 69.7% 提高到 77.0%，超过了人工设计的 Codex-CLI Harness（71.9%）。范畴论架构研究（paper）把 Harness 形式化为数学结构，并证明面向 Swarms、DeerFlow、Ralph、Scion、LangGraph 的编译器能够完整保留三类保证证书。

第三条脉络是度量 Harness 本身。确定性约束研究（paper）测量了 Harness 在多大程度上改变执行的可复现性。LoopsBench（paper）认为编程智能体基础设施的重心正从 Harness 工程转向“循环工程”（设计长期持续的开发迭代），并用 112 个长期任务进行评估。Doc2Harness（paper）不同于以往只在固定 Harness 上衡量任务成功的基准，而是先让模型亲自构建 Harness，再评估其产物。在 19 个模型中表现最好的 GPT-6 Astra 在 328 个测试用例中通过了 53.05%，最低的模型为 27.44%。

最近的走向

近期研究从三个方向追问 Harness 有多重要、如何重要。第一，Harness 能在多大程度上弥补模型差距。一项把美国州法案转换为严格模式 XML 的工业流水线研究（paper）探讨了这个问题。该研究把三种 Harness（零样本、使用工具的单智能体、分解后的多智能体流水线）与三个 Claude 模型交叉组合，用 153 份标准答案法案进行比较。放入完整流水线的最弱模型胜过了单独使用的最强模型（0.948 对 0.806）。由于两种智能体式 Harness 使用相同的工具，作者认为差异来自编排：拆分任务的同时保持了状态，且每个智能体都有各自独立的上下文。最后剩下的误差集中在引用格式规范化上。在这里，不让模型生成正式标识符、而是从外部机构查询的确定性工具补足了准确性。

第二是反方向的问题：真的需要复杂的 Harness 吗？OpenRUA（paper）没有为机器人智能体堆叠定制的抽象层，而是采用“工作空间即 Harness”的设计，只向现成的编程智能体提供机器人基础软件接口 ROS 2 的终端访问、文档和基本工具。基于 Claude Opus 5 的 Claude Code 报告了 CaP-Bench 99.0%、LIBERO-PRO 87.0% 的成功率。这一结果表明，无需定制组件或针对任务的训练也能运作。

第三是把 Harness 演化视为学习问题的理论化。个人智能体的 Harness 演化研究（paper）研究的情形是：固定模型，只修改管理上下文、记忆、工具和执行的 Harness，以适应用户偏好。该研究用近似误差、泛化误差和优化误差来解释这一过程的局限。这是在尝试厘清仅靠修改 Harness 所能达到的行为范围，以及有限的交互证据带来的限制。

局限与争议

给 Harness 加东西并不总能带来改善。确定性约束研究（paper）把 Qwen-2.5-7B-Instruct、Gemma-3-27B 两个模型与金融、法律两个合成任务组合成四个格子。最初的 Harness 只在一个格子中明显提高了可复现性，在两个格子中反而降低了，另一个格子没有变化。原因在于用自由文本编写的计划阶段。在工具顺序、状态顺序和输出都已一致之后，这一阶段成了剩余偏差的主要来源。加入在调用工具前用既定模式验证计划的结构化计划后，四个格子中有三个在 100 次运行中的复现率和确定性指标达到 1.000。这也有代价：token 成本在所有格子中都下降了，但延迟在一个模型上降低，在另一个模型上明显增加。

Harness 的厚度也是争议点。像 NORA（paper）、SemaClaw（paper）那样堆叠大量组件的方向，与像 OpenRUA（paper）那样只提供最低限度的方向，都在被使用。法案转换研究（paper）和 OpenRUA 涉及的领域不同。因此，与其断定哪一方正确，不如认为答案取决于任务所要求的准确性以及模型处理现有接口的能力，这样更符合证据。

构建 Harness 本身也仍然困难。在 Doc2Harness（paper）中，即使是最强的模型也有接近一半的测试用例失败，失败集中在拆分跨多个模块的功能上。在 LoopsBench（paper）中，即使是最强的配置（Opus-4.7、Claude Code、外部续接循环）也只解决了 25.00% 的任务。智能体制定的计划只还原了实际先后关系的一部分，还出现了已完成部分再次被破坏的回归。

对形式化保证的范围也要准确理解。范畴论架构研究（paper）的编译器检查的是结构是否被完整保留以及验证器的重新运行。作者明确表示，它不检查输出是否正确，也不检查模型如何行动。Harness 所保证的内容与模型仍可能出错的地方，需要分开看待。

延伸学习

如果是初次接触，先读 SemaClaw（paper），可以了解 Harness 工程为何出现，以及权限、上下文管理等组件是什么样子。接着看 NORA（paper），可以了解钩子、门、生成器与评估器分离在实际研究智能体中如何使用。

如果想用数据确认设计效果，可以接着读确定性约束研究（paper）和法案 XML 转换研究（paper）。前者通过对照实验表明 Harness 可能产生反效果，后者表明即使使用相同的工具，编排也会造成差异。自动修改 Harness 的方法可从 AHE（paper）入手，Harness 的评估方法可从 Doc2Harness（paper）和 LoopsBench（paper）入手。

如果对理论感兴趣，可以读范畴论架构研究（paper）和 Harness 演化研究（paper）。同时阅读持相反观点的 OpenRUA（paper），可以更平衡地看待“Harness 应该做到什么程度”这一问题。