주제 탐구 · 2026-11-13 · 심화 · 작성자 bombong
원격 노동 지수(RLI): AI 에이전트는 실제 일을 얼마나 끝내나
원격 노동 지수(Remote Labor Index, RLI)는 여러 업종의 실제 유료 프로젝트를 AI 에이전트에게 처음부터 끝까지 맡겨, AI가 원격 업무를 얼마나 자동화할 수 있는지 재는 벤치마크다. 처음 발표된 결과에서 가장 잘한 에이전트도 자동화율이 2.5%에 그쳐, 시험 점수와 실제 업무 능력 사이의 간격을 숫자로 보여 줬다.
목차
- RLI는 지식·추론 문제 대신 경제적 가치가 있는 실제 프로젝트를 과제로 삼아 AI 에이전트의 '끝까지 해내는 능력'을 잰다.
- 평가 단위가 문제 하나가 아니라 프로젝트 전체여서, 중간 단계 하나만 틀려도 결과물 전체가 쓸모없어지는 실제 업무의 특성이 점수에 그대로 반영된다.
- 처음 발표된 결과에서 가장 잘한 에이전트의 자동화율은 2.5%였다. 에이전트들이 바닥 근처에 머물렀다는 뜻이다.
- RLI는 AI 자동화 논의를 추측이 아니라 측정에 바탕을 두게 하고, 시간에 따른 변화를 같은 기준으로 추적하는 공통 잣대를 목표로 한다.
- 2020년 경제학 연구에도 같은 이름의 지표가 있지만, 그것은 직업별 재택근무 가능성을 재는 다른 개념이다.
왜 필요했나: 시험 점수와 실제 일 사이의 간격
AI 모델은 지식과 추론을 묻는 연구용 벤치마크(Benchmark, 성능 비교용 시험 세트)에서 빠르게 점수를 올려 왔다. 그런데 RLI 논문논문은 이 진전이 경제적 가치나 실제 업무 자동화로 얼마나 이어지는지는 분명하지 않다고 문제를 제기한다. 수학 문제를 잘 푼다고 해서 고객이 맡긴 일을 납품까지 해낼 수 있다는 보장은 없기 때문이다.
이 간격은 정책과 경영 판단에서 특히 문제가 된다. 'AI가 일자리를 얼마나 대체할까' 같은 논의는 대개 벤치마크 점수나 데모 영상, 직무 설명서를 놓고 한 추정에 기대 왔다. 측정 대상이 실제 일이 아니면 낙관론과 비관론 모두 근거가 약해진다.
그래서 RLI는 질문을 바꾼다. '모델이 얼마나 똑똑한가' 대신 '실제로 돈을 받고 하는 일을 맡기면 끝까지 해내는가'를 묻는다. 논문은 이를 통해 AI 자동화 논의를 실증 근거 위에 올려놓고, 이해관계자들이 노동 자동화에 미리 대비할 공통 기준을 만들겠다는 목표를 밝힌다논문.
핵심 아이디어: 필기시험 대신 실제 납품
비유하자면 기존 벤치마크는 신입 사원의 필기시험이고, RLI는 수습 기간에 실제 고객 프로젝트를 하나 맡겨 보는 것이다. 필기시험은 지식을 잘게 나눠 묻고 문항마다 부분 점수를 준다. 실제 프로젝트는 요구 사항을 이해하고, 자료를 다루고, 여러 도구를 쓰고, 마지막에 고객이 받아들일 결과물을 내야 한다. 하나라도 빠지면 납품은 실패다.
RLI 논문논문은 이 설계를 세 가지 성격으로 요약한다. 첫째, 과제가 '실제 세계의, 경제적 가치가 있는' 프로젝트다. 둘째, 특정 분야에 몰리지 않고 여러 업종에 걸쳐 있다(broadly multi-sector). 셋째, 실무 환경에서 에이전트의 성능을 처음부터 끝까지(end-to-end) 평가한다.
이 선택에는 대가가 있다. 실제 프로젝트는 정답이 하나로 떨어지지 않아 자동 채점이 어렵고, 과제 하나를 준비하고 평가하는 비용도 크다. 대신 얻는 것은 타당성이다. 점수가 높아지면 그만큼 '실제로 맡길 수 있는 일'이 늘었다고 읽을 수 있다. 문항형 벤치마크가 측정의 편의와 재현성을 택했다면, RLI는 현실과의 거리를 줄이는 쪽을 택한 셈이다.
연구용 벤치마크 대 RLI
연구용 벤치마크필기시험
- 지식·추론을 문항으로 측정
- 자동 채점·재현이 쉬움
- 부분 점수가 쌓임
- 경제적 가치와의 연결은 불분명
RLI실제 납품
- 실제 유료 프로젝트가 과제
- 여러 업종에 걸침
- 처음부터 끝까지 평가
- 준비·판정 비용이 큼
공통 둘 다 AI 능력을 숫자로 비교하려는 잣대
어떻게 작동하나: 프로젝트를 통째로 맡기고 결과물로 판정
RLI의 평가 흐름은 개념적으로 네 단계로 이해할 수 있다. 먼저 여러 업종에서 실제로 의뢰되는 원격 업무 프로젝트를 과제로 모은다. 다음으로 AI 에이전트(AI Agent, 도구를 쓰며 여러 단계를 스스로 진행하는 AI 시스템)에게 프로젝트를 통째로 맡긴다. 에이전트는 사람이 원격으로 일할 때처럼 지시를 읽고, 필요한 작업을 하고, 결과물을 낸다.
세 번째로 그 결과물이 실제 업무 기준에서 받아들일 만한지 판정한다. 마지막으로 이 판정을 모아 '자동화율(automation rate)'이라는 하나의 숫자로 정리한다. 이름 그대로 읽으면 맡긴 일 가운데 AI가 사람 대신 끝까지 해낸 몫을 가리킨다. 구체적인 채점 절차와 과제 구성은 원문에서 확인하는 것이 좋다.
이 구조에서 중요한 점은 부분 점수가 쉽게 나오지 않는다는 것이다. 문항형 시험에서는 10단계 중 9단계를 맞히면 90점에 가깝지만, 프로젝트에서는 마지막 단계가 틀리면 결과물 전체가 쓸모없을 수 있다. 여러 단계를 거치는 에이전틱 워크플로(Agentic Workflow)에서는 작은 실수가 쌓여 전체 실패로 이어지기 쉬운데, RLI는 바로 그 누적 효과를 점수에 드러낸다.
결과 읽기: 자동화율 2.5%가 말하는 것
RLI 논문논문에 따르면 평가한 AI 에이전트들은 바닥 근처의 성능을 보였고, 가장 잘한 에이전트의 자동화율은 2.5%였다. 연구용 벤치마크에서 사람 수준에 가까운 점수가 흔히 보고되는 것과 대조된다.
이 숫자를 '저 정도면 AI는 쓸모없다'로 읽으면 틀린다. RLI가 재는 것은 사람 개입 없이 프로젝트 전체를 맡겼을 때의 완결률이다. 사람이 일을 나누고, 검토하고, 고쳐 주는 협업 방식에서의 생산성 향상과는 다른 질문이다. 자동화율이 낮아도 일부 단계에서는 이미 쓸모가 클 수 있다.
반대로 '벤치마크 점수가 높으니 곧 사람을 대체한다'는 주장에는 RLI가 반대 근거가 된다. 지식과 추론 능력이 실제 업무 완결로 이어지려면 긴 작업을 일관되게 끌고 가는 능력, 결과물의 품질을 스스로 점검하는 능력 같은 다른 요소가 필요하다는 점을 2.5%라는 숫자가 보여 준다. 논문이 RLI를 'AI 영향 추적의 공통 기준'으로 내세우는 이유도 여기에 있다. 같은 잣대로 반복해 재면 이 숫자가 언제 얼마나 움직이는지 볼 수 있다.
처음 발표된 RLI 결과
이름이 같은 다른 지표와 헷갈리지 않기
'Remote Labor Index'라는 이름은 2020년 경제학 연구에도 나온다. 코로나19 팬데믹의 공급·수요 충격을 분석한 연구논문는 직업별로 재택근무가 얼마나 가능한지를 재는 지표를 만들고, 같은 이름을 붙였다. 이 연구는 이를 바탕으로 업종과 직업별 충격을 추정했고, 고임금 직업은 충격에 상대적으로 강하고 저임금 직업은 훨씬 취약하다고 보고했다.
두 지표는 이름만 같을 뿐 재는 대상이 다르다. 2020년 지표는 '사람이 집에서 일할 수 있는가'를, AI 벤치마크인 RLI논문는 'AI 에이전트가 원격 업무 프로젝트를 끝까지 해내는가'를 잰다. 앞의 지표가 뒤의 벤치마크로 이어졌다는 근거는 입력 자료에 없으므로 둘을 계보로 묶어서는 안 된다. 자료를 검색하거나 인용할 때 연도와 분야를 확인해 구분하는 것이 좋다.
한계와 쟁점, 그리고 실무 판단 기준
첫째, 대표성 문제가 있다. 여러 업종에 걸쳐 있다고 해도 과제 집합은 표본이다. 자동화율은 그 표본 위에서의 숫자이므로 '전체 원격 노동의 몇 %가 자동화된다'로 그대로 옮기면 안 된다. 어떤 업종과 어떤 종류의 프로젝트가 들어 있는지 먼저 확인해야 한다.
둘째, 판정 기준이 결과를 좌우한다. 실제 프로젝트의 결과물은 정답이 하나가 아니어서, '받아들일 만한가'를 누가 어떤 기준으로 정하느냐에 따라 자동화율이 달라질 수 있다. 셋째, 시점 문제가 있다. 2.5%는 논문을 쓸 당시 평가한 에이전트들의 결과다. 모델과 하네스(Agent Harness, 모델을 감싸 도구·실행 환경을 제공하는 틀)가 바뀌면 숫자도 바뀔 수 있으므로, 인용할 때는 시점과 평가 대상을 함께 밝혀야 한다.
실무에서는 이렇게 쓰면 좋다. 사내에서 에이전트 도입을 검토할 때 RLI 같은 결과를 'AI가 무엇을 할 수 있는가'보다 '어디서 사람이 반드시 끼어야 하는가'를 정하는 근거로 쓴다. 자체 평가를 만든다면 문항형 Evals(평가 세트)와 함께, 실제 업무 하나를 처음부터 끝까지 맡겨 보는 프로젝트형 평가를 적은 수라도 넣는다. 흔한 실수는 연구용 벤치마크 점수 하나로 자동화 범위를 정하는 것, 그리고 완결률이 낮다는 이유로 단계별 보조 활용까지 포기하는 것이다.
RLI 결과를 인용·활용할 때
해석
- 평가 시점과 대상 에이전트를 밝혔는가
- 과제 표본의 업종 구성을 확인했는가
- 판정 기준을 확인했는가
- 2020년 재택근무 지표와 구분했는가
활용
- 사람이 끼어야 할 지점을 정하는 데 썼는가
- 프로젝트형 평가를 함께 두었는가
- 단계별 보조 활용 가능성을 따로 봤는가
더 공부하려면
가장 먼저 RLI 논문논문 원문을 읽는 것이 좋다. 초록에 담긴 문제의식(벤치마크 진전과 경제적 가치 사이의 간격)을 확인한 뒤, 과제를 어떻게 모았는지, 결과물을 어떤 기준으로 판정했는지, 자동화율을 어떻게 계산했는지를 차례로 살피면 위에서 말한 한계를 스스로 따져 볼 수 있다.
이름이 같은 2020년 경제학 연구논문는 AI 벤치마크와는 다른 개념이지만, 직업과 업종 단위로 노동 충격을 정량화하는 방식을 보여 준다. RLI 결과를 노동 시장 논의와 연결해 생각해 보려는 독자라면 '무엇을 단위로 재는가'를 비교하는 읽을거리로 쓸 수 있다. 함께 보면 좋은 개념으로는 AI 에이전트, 컴퓨터 사용(Computer use), 하네스, 벤치마크의 데이터 오염 문제가 있다.
관련 용어
참고 문헌
핵심 논문
최근 연구
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.