HexaShell: VLM 에이전트를 로봇 코딩 에이전트로 쓸 때의 한계를 탐색하는 얇은 Harness

문제

VLM 기반 에이전트가 로봇 조작 리더보드에서 학습형 정책과 경쟁하기 시작했다. 하지만 코딩 에이전트가 컴퓨터 대신 로봇을 다룰 때 어디까지 가능하고 어디서 막히는지는 분명하지 않다. 특히 깊이 정보 없이 RGB 픽셀만 보고 센티미터 단위의 위치를 알아내는 것이 어렵다.

방법

Harness는 명령을 관절 움직임으로 바꾸는 일만 하고 판단은 하지 않는다. 에이전트는 robo라는 명령줄 하나, RGB 카메라 3대의 영상과 보정 정보, 한 쪽짜리 매뉴얼만 받는다. 실패하면 같은 모델(Codex + GPT-6-Astra, medium reasoning)로 된 optimizer 에이전트가 로그와 카메라 프레임을 읽고 원인을 진단한 뒤, 유닛 테스트를 포함한 작은 도구 코드를 쓰거나 고친다. 그다음 같은 레이아웃을 다시 시도한다. 도구는 로봇이 관측한 정보만 쓸 수 있다. 두 카메라 광선의 교차점이나 광선과 이미 측정한 평면(테이블, 블록 윗면)의 교점을 구하는 삼각측량으로 3D 위치를 계산하고, 필요하면 손목 카메라를 움직여 두 번째 시점을 얻는다. 과제마다 한 seed의 레이아웃 10개로 도구를 만든 뒤 고정하고, 새 레이아웃 10개에서 다시 테스트했다.

결과

• 저자들은 RoboDojo 42개 과제에서 리더보드 방식 평균 성공률 39.7%, 진행 점수 48.0을 얻어 최고 학습형 정책인 VPP2(32.3%, 39.3)와 PhysicalRSI(31.4%, 36.3)를 넘었다고 보고했다.
• 54개 변형 단순 평균 성공률은 35.4%로, VPP2 30.6%와 도구 없이 같은 모델을 쓴 경우 24.3%보다 높았다.
• 같은 Harness·모델·레이아웃에서 삼각측량 방식이 Depth Anything V2 기반 깊이 추정보다 8.7점 높았고, 레이아웃 단위로 비교하면 57개에서 이기고 23개에서 졌다.
• 과제 유형별 차이가 컸다. 밀기(pushing)는 92.5%, 기억 과제는 65.0%였지만, 빡빡한 삽입(tight insertion)은 8.3%에 그쳤다. 저자들은 한계가 추론이 아니라 접촉 제어에 있다고 분석했다.

한계

재테스트는 과제당 같은 seed의 새 레이아웃 10개, 에피소드 1회씩이다. 리더보드 항목은 seed 3개에 50 에피소드씩 평가하므로 평가 방식이 같지 않다. 재테스트 프롬프트에는 과제 설명, 점수표, 개발 단계 메모가 추가로 들어갔고, 25개 과제에서는 optimizer가 checker 요건 메모를 읽었다. 에피소드 하나에 중앙값 739초가 걸리지만 대부분 모델 지연이라 벤치마크 비용에 잡히지 않는다. 시뮬레이션에서만 평가했고, 접촉이 많은 정밀 조작에서는 성능이 낮다.

의미

로봇 데이터를 모으거나 모델을 학습하지 않고도, 범용 코딩 에이전트가 실패를 코드로 쌓아 가는 방식만으로 학습형 정책과 경쟁할 수 있음을 보였다. 동시에 접촉이 많은 정밀 조작이 현재 VLM 에이전트의 병목이라는 점을 구체적인 수치로 보여 준다.

핵심 용어

Harness

모델을 감싸서 환경과 연결해 주는 실행 틀이다. 이 논문의 Harness는 명령을 로봇 움직임으로 바꾸는 일만 하고, 판단은 하지 않도록 얇게 만들었다.

삼각측량(Triangulation)

보정된 두 카메라가 같은 점을 볼 때 두 시선 광선이 만나는 지점으로 3D 위치를 구하는 방법이다. 깊이 센서 없이 RGB 영상만으로 위치를 잴 수 있다.

Active Perception

더 나은 관측을 얻으려고 센서를 직접 움직이는 방식이다. 이 논문에서는 손목 카메라를 옮겨 두 번째 시점을 얻으며, 그만큼 행동 스텝을 소모한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Hongcheng Gao, Alex Zhou, Jay Zhu, Zelin Zheng, Shijia Ge, Xiping Li, Di Wu, Yazhe Wang, 외 · 게시 2026-10-16 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.