REA: 느린 '뇌'와 빠른 '소뇌'를 비동기로 조율하는 라우팅 기반 체화 에이전트 런타임

문제

파운데이션 모델은 계획과 판단은 잘하지만 저수준 제어기로 쓰기에는 느리고 비싸다. VLA 같은 빠른 정책은 일반화가 약하다. 둘을 결합하려 해도 두 방식이 서로 다른 시뮬레이터와 평가 기준 위에서 만들어져 같은 조건에서 비교하기 어렵다. 또 에이전트가 VLA를 호출하는 구조는 매 결정마다 로봇을 멈춰 세우고, VLA가 오류 때 에이전트를 부르는 구조는 같은 오류에 반복 호출되면서 오류 없이 실패하는 경우는 놓친다.

방법

System 2(뇌: 정책 생성·조언·완료 판정), System 1(라우터: 어떤 정책을 언제 실행할지 결정하며 행동은 직접 내지 않음), System 0(코드 정책·VLA·전신 제어기)으로 나눈다. 규칙은 '실행 중인 정책은 뇌를 기다리지 않는다' 하나다. Route memory는 개발용 에피소드에서 측정한 정책별 성공률과 step 수를 저장해 두고, 테스트 때는 표를 조회해 정책을 고른다. Judge gate는 정책이 끝날 때마다 VLM에게 작업이 끝났는지 묻는다. 끝났으면 멈춰서 완료된 결과를 지키고, 아니면 다음 단계로 넘어간다. Escalation ladder는 하나의 step·시간 예산 안에서 다음 정책을 현재 상태에서 이어 실행한다.

결과

• LIBERO-Pro 60개 작업, 3,000개 에피소드에서 REA-M 성공률 95.9%로, 단일 최고 기준선 Agents SDK + GPT-6(94.7%, p=0.004)보다 높고 사후 오라클(96.9%)과 1%p 차이다.
• 성공당 step은 1,003으로 Agents SDK(1,343)보다 25% 적고, 제어 시간은 17% 짧다. LLM 조언을 기다리는 구성보다도 빠르다.
• RoboTwin 2.0의 100개 에피소드 실험에서 VLA 정책 풀로 84%, VLA+코드 풀로 86%를 기록해, 단일 VLA 최고 기준선 MEDex(80%)보다 높다.
• 판정 게이트는 예외 기반 게이트보다 성공률을 3.1%p 높였지만(p=0.022), 성공당 시간은 2.1배 걸렸다. 매 동작을 VLM에게 묻는 Show-Harness는 성공률 2.6%에 그쳤다.
• BEHAVIOR-1K에서는 27/50으로 Agents SDK(25/50)보다 높았지만 통계적으로 유의하지 않았다. 실제 Unitree G1 실험은 10회 중 8회 성공했다.

한계

LIBERO-Pro 평가는 task·swap 변형만 포함하고 Long suite와 객체·언어·환경 변형은 제외했다. Route memory를 만들려면 작업마다 개발용 에피소드를 미리 돌려야 한다. BEHAVIOR-1K의 차이는 유의하지 않았고, 실제 로봇 실험은 10회로 규모가 작다. 판정 게이트를 쓰면 시간 비용이 커진다.

의미

LLM 에이전트, VLA, 코드 정책을 같은 실행 계약과 같은 평가 조건 위에 올려 비교할 수 있게 한다. 무거운 모델은 오프라인 정책 준비와 필요할 때의 판정에만 쓰고, 실시간 제어는 빠른 정책에 맡기는 실용적 분업 방식을 보여준다.

핵심 용어

VLA(Vision-Language-Action) 모델

이미지와 언어 지시를 입력받아 로봇 행동을 바로 출력하는 모델이다. 빠르지만 학습 분포를 벗어나면 성능이 떨어지기 쉽다.

Route memory

개발용 에피소드에서 측정한 정책별 성공률과 비용을 저장해 두고, 테스트 때 LLM 호출 없이 정책을 고르는 조회표다.

Silent failure

정책이 오류를 내지 않고 정상 종료했지만 실제로는 작업을 완수하지 못한 경우다. 예외 기반 복구로는 잡아낼 수 없다.

Code-as-policy

코딩 에이전트가 인식·파지·역기구학 도구를 호출하는 제어 프로그램을 작성하고, 그 프로그램을 로봇 정책으로 쓰는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Pengfei Zhou, Yixing Ma, Zhengfeiyang Zhang, Haoyuan Chen, Zhenglin Wan, Hexin Wang, Wangbo Zhao, Yang You · 게시 2026-10-30 · 라이선스 CC BY-NC-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.