专题深读 · 2026-11-13 · 进阶 · 作者 bombong
远程劳动指数(RLI):AI 智能体能把实际工作完成多少
远程劳动指数(Remote Labor Index,RLI)是一项基准测试:它把多个行业的真实付费项目从头到尾交给 AI 智能体完成,以衡量 AI 能在多大程度上自动化远程工作。在首次发布的结果中,表现最好的智能体自动化率也仅为 2.5%,用数字展示了考试分数与实际工作能力之间的差距。
目录
- RLI 不用知识和推理题,而是以具有经济价值的真实项目为任务,衡量 AI 智能体“把事情做完的能力”。
- 评估单位不是一道题,而是整个项目,因此真实工作的一个特点会直接反映在分数中:只要中间有一步出错,整个成果就可能失去价值。
- 在首次发布的结果中,表现最好的智能体自动化率为 2.5%。这意味着各智能体的表现都停留在接近最低水平。
- RLI 的目标是让关于 AI 自动化的讨论建立在测量而非推测之上,并成为一把以同一标准追踪随时间变化的共同标尺。
- 2020 年的一项经济学研究中也有同名指标,但那是衡量各职业居家办公可能性的另一个概念。
为什么需要它:考试分数与实际工作之间的差距
AI 模型在考查知识和推理的研究用基准测试(Benchmark,用于比较性能的测试集)上分数提升很快。然而 RLI 论文(paper)提出,这种进展能在多大程度上转化为经济价值或实际工作的自动化,目前并不清楚。因为擅长解数学题,并不能保证能把客户委托的工作一直做到交付。
这一差距在政策和经营决策中尤其成问题。“AI 会取代多少工作岗位”之类的讨论,大多依赖基于基准测试分数、演示视频或职位说明书所做的估计。如果测量对象不是实际工作,无论乐观论还是悲观论,依据都会变弱。
因此,RLI 换了一个问题。它不问“模型有多聪明”,而是问“把真正收费的工作交给它,它能否做完”。论文表示,希望借此让 AI 自动化的讨论建立在实证依据之上,并为利益相关方提前应对劳动自动化建立共同标准(paper)。
核心思路:用实际交付代替笔试
打个比方,现有基准测试相当于新员工的笔试,而 RLI 则是在试用期内交给对方一个真实客户项目。笔试把知识拆细来考,每道题都给部分得分。真实项目则需要理解需求、处理资料、使用多种工具,最后交出客户能接受的成果。缺了任何一环,交付就算失败。
RLI 论文(paper)把这一设计概括为三个特点。第一,任务是“真实世界中具有经济价值的”项目。第二,任务不集中于某个领域,而是横跨多个行业(broadly multi-sector)。第三,在实际工作环境中从头到尾(end-to-end)评估智能体的表现。
这一选择是有代价的。真实项目没有唯一的正确答案,难以自动评分,准备和评估每个任务的成本也很高。换来的是效度:分数提高,就可以理解为“真正能交出去的工作”相应增加了。如果说题目式基准测试选择了测量的便利性和可复现性,那么 RLI 选择的是缩小与现实之间的距离。
研究用基准测试 vs RLI
研究用基准测试笔试
- 以题目衡量知识和推理
- 易于自动评分和复现
- 部分得分可累积
- 与经济价值的关联不明确
RLI实际交付
- 以真实付费项目为任务
- 横跨多个行业
- 从头到尾评估
- 准备和判定成本高
공통 二者都是用数字比较 AI 能力的标尺
如何运作:整体交付项目,按成果判定
RLI 的评估流程在概念上可以理解为四个步骤。首先,从多个行业收集真实委托的远程工作项目作为任务。其次,把项目整体交给 AI 智能体(AI Agent,能使用工具、自主推进多个步骤的 AI 系统)。智能体像人远程工作时一样,阅读指令、完成所需工作并交出成果。
第三,判定该成果按实际工作标准是否可以接受。最后,把这些判定汇总成“自动化率(automation rate)”这一个数字。按字面理解,它指的是交付的工作中 AI 代替人完整做完的比例。具体的评分流程和任务构成最好查阅原文。
这一结构的关键在于,部分得分不容易拿到。在题目式考试中,10 个步骤做对 9 个接近 90 分;但在项目中,只要最后一步出错,整个成果就可能毫无用处。在经过多个步骤的智能体工作流(Agentic Workflow)中,小错误容易累积成整体失败,而 RLI 正是把这种累积效应体现在分数上。
解读结果:2.5% 的自动化率说明了什么
根据 RLI 论文(paper),所评估的 AI 智能体表现接近最低水平,表现最好的智能体自动化率为 2.5%。这与研究用基准测试中常见的接近人类水平的分数形成对比。
如果把这个数字理解为“这样看来 AI 没什么用”,那就错了。RLI 衡量的是在没有人工介入的情况下交付整个项目时的完成率。这与由人拆分工作、审核并修改的协作方式所带来的生产力提升是不同的问题。即使自动化率很低,在部分步骤中 AI 也可能已经很有用。
反过来,对于“基准测试分数高,所以很快就会取代人”的说法,RLI 提供了反面依据。2.5% 这个数字表明,要让知识和推理能力转化为实际工作的完成,还需要其他要素,比如持续一致地推进长任务的能力、自行检查成果质量的能力。这也是论文把 RLI 定位为“追踪 AI 影响的共同标准”的原因。用同一把标尺反复测量,就能看到这个数字何时、变化多少。
首次发布的 RLI 结果
不要与同名的其他指标混淆
“Remote Labor Index”这个名字也出现在 2020 年的一项经济学研究中。一项分析新冠疫情供给与需求冲击的研究(paper)构建了一个衡量各职业居家办公可能性的指标,并取了同样的名字。该研究据此估算了各行业和职业受到的冲击,并报告称高薪职业相对更能抵御冲击,而低薪职业则脆弱得多。
两个指标只是名字相同,衡量的对象并不一样。2020 年的指标衡量“人能否在家工作”,而作为 AI 基准测试的 RLI(paper)衡量“AI 智能体能否把远程工作项目做完”。输入资料中没有依据表明前者演变为后者,因此不应把两者归为同一脉络。检索或引用资料时,最好核对年份和领域加以区分。
局限与争议,以及实务判断标准
第一,存在代表性问题。即使横跨多个行业,任务集仍然是样本。自动化率是基于这个样本得出的数字,不能直接换算成“全部远程劳动中有百分之几会被自动化”。应先确认其中包含哪些行业、哪类项目。
第二,判定标准左右结果。真实项目的成果没有唯一正确答案,由谁按什么标准决定“是否可以接受”,自动化率就可能不同。第三,存在时间点问题。2.5% 是撰写论文时所评估智能体的结果。模型和 Harness(Agent Harness,包裹模型、提供工具与执行环境的框架)变化后,这个数字也可能变化,因此引用时应同时注明时间点和评估对象。
在实务中可以这样使用。公司内部评估是否引入智能体时,与其把 RLI 这类结果当作“AI 能做什么”的依据,不如用它来确定“哪些环节必须有人介入”。如果自建评估,除了题目式 Evals(评估集)之外,哪怕数量不多,也应加入把一项实际工作从头到尾交给智能体的项目式评估。常见的错误是仅凭一个研究用基准测试分数来决定自动化范围,以及因为完成率低而连分步骤的辅助使用也一并放弃。
引用和使用 RLI 结果时
解读
- 是否注明了评估时间点和对象智能体
- 是否确认了任务样本的行业构成
- 是否确认了判定标准
- 是否与 2020 年的居家办公指标区分开
使用
- 是否用于确定需要人介入的环节
- 是否同时设置了项目式评估
- 是否单独考察了分步骤辅助使用的可能性
延伸学习
首先最好阅读 RLI 论文(paper)原文。先确认摘要中的问题意识(基准测试进展与经济价值之间的差距),再依次查看任务是如何收集的、成果按什么标准判定、自动化率如何计算,就能自己检验上文提到的局限。
同名的 2020 年经济学研究(paper)与 AI 基准测试是不同的概念,但它展示了以职业和行业为单位量化劳动冲击的方法。对于想把 RLI 结果与劳动力市场讨论联系起来思考的读者,它可以作为比较“以什么为单位来衡量”的参考读物。值得一并了解的概念有 AI 智能体、计算机使用(Computer use)、Harness,以及基准测试的数据污染问题。
相关术语
参考资料
奠基论文
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。