RoTA-Bench: 상호작용형 투영 정렬로 3D 공간 추론 평가하기

문제

기존 공간 추론 벤치마크는 고정된 이미지에 대한 질의응답이라 행동과 피드백이 없다. 상호작용형 벤치마크는 고수준 계획이나 격자 위 경로 찾기에 치우쳐 있다. 그래서 VLM이 2D 관찰에서 3D 방향을 이해하고 이를 정밀한 행동으로 옮길 수 있는지는 측정되지 않았다.

방법

2D 아이콘을 구 형태로 입체화해 정면 실루엣이 원래 아이콘과 같은 낯선 3D 물체를 자동 생성했다. 이 물체를 30° 회전을 6~16번 무작위로 적용해 초기 자세를 만든다. 회전을 거꾸로 적용하면 원래 자세로 돌아오므로 모든 과제의 풀이가 보장된다. 모델은 목표 실루엣, 현재 실루엣, 깊이 음영 이미지를 보고 3축×2방향×4단계 크기(1°/5°/10°/30°)로 된 24가지 회전 중 하나를 고른다. 최대 48번 결정 안에 투영 IoU 0.90 이상에 도달하면 성공이다. 674개 과제 중 100개를 층화 추출해 테스트 세트로 썼다. 3D 자세 오차, 효과적인 방향을 고른 비율, 최적 각도를 고른 비율 같은 진단 지표도 함께 측정했다.

결과

• GPT-5.6-Sol의 성공률은 17%(최종 IoU 0.598)였고, 학부생 20명은 400회 시도에서 100% 성공했다(최종 IoU 0.923).
• Claude Opus 5, Claude Sonnet 5, Qwen 3.7 Plus, SpatioLM-InternVL3.5는 성공률 0%였다. ReAct 에이전트 구성은 16%였다.
• 같은 상태에서 비교했을 때 실루엣 겹침은 좋아지는데 실제 3D 자세는 나빠지는 행동의 비율이 모델 19.4%, 사람 10.9%였다.
• 상호작용 이력을 빼면 모델 행동의 96.8%가 가장 큰 30° 회전에 몰렸고 성공률이 크게 떨어졌다.

한계

물체는 아이콘을 입체화한 합성 형상이고, 투영은 직교 투영, 행동은 24가지 이산 회전으로 단순화돼 실제 로봇 조작 환경과 차이가 있다. 테스트 세트는 100개 과제, 사람 참가자는 학부생 20명이다. 성공 판정이 IoU 0.90 기준이라 대칭 물체에서는 자세 오차가 남아도 성공으로 처리될 수 있다.

의미

VLM을 로봇이나 3D 도구 제어에 쓰려면 '이미지를 알아보는 능력'과 '3D 방향을 정밀하게 조작하는 능력'이 다르다는 점을 보여준다. 이력 관리와 미세 조정이 약점이라는 진단은 에이전트 설계에 바로 참고할 수 있다.

핵심 용어

투영 IoU

현재 물체의 2D 실루엣과 목표 실루엣이 겹치는 면적을 둘을 합친 면적으로 나눈 값. 1에 가까울수록 잘 맞는다.

직교 투영(Orthographic Projection)

원근감 없이 3D 물체를 평면에 그대로 내려 그리는 방식. 거리에 따라 크기가 달라지지 않는다.

폐루프(Closed-loop) 평가

모델이 행동하고, 바뀐 관찰을 다시 받아 다음 행동을 고르는 과정을 반복하는 평가 방식.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Qingchuan Ma, Yuexiao Ma, Xiang Meng, Yixuan Zou, Tianyu Xie, Wang Chen, Yuhui Zeng, Yuhang Wu, 외 · 게시 2026-10-13 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.