SpatialScout: VLM 에이전트는 3D 장면을 능동적으로 탐색하고 지도화할 수 있는가

문제

공간 지능 평가는 주로 이미지·영상 질의응답에 의존한다. 이런 평가는 찍기나 언어 사전지식으로 맞힐 여지가 있다. 또 모델이 스스로 관찰을 모아 정확한 미터 단위 3D 지도를 만들 수 있는지는 확인하지 못한다.

방법

실내 장면 80개(iTHOR, ProcTHOR 등 기반, SAPIEN/ManiSkill3로 렌더링)에 목표 물체 3,140개를 배치했다. 에이전트는 물체 목록, RGB 이미지, 카메라 내부 파라미터와 자세를 받는다. 카메라 이동·회전·촬영, 삼각측량, 위치 제출 등 10개 도구로 장면을 탐색하고 각 물체 중심 좌표를 추정한다. 예산은 모델 호출 100회, 이미지 100장이다. 채점은 정답 박스를 예측 중심으로 옮겨 3D IoU를 계산하고, 제출하지 않은 물체는 0점으로 처리해 정확도와 커버리지를 함께 본다.

결과

• Claude Opus 5.5가 전체 물체 기준 평균 IoU 41.71%로 가장 높았다. 다음은 GPT-6 Astra(xhigh) 33.16%, Claude Sonnet 5.5 32.26%였다.
• Claude Opus 5.5도 IoU 0.5 초과 물체는 47.23%, 0.9 초과는 3.25%에 그쳤다. 대략적인 배치와 정밀한 위치 추정 사이에 격차가 컸다.
• Kimi-K3(4.22%), Qwen3.8 Max(6.80%), DeepSeek V4.1 Flash(3.48%)는 평균 IoU가 한 자릿수에 머물렀다.
• 40개 Trajectory를 분석한 결과, 가장 흔한 실패 요인은 불완전한 커버리지(26건)와 삼각측량 잔차가 낮은데도 대응점이 틀린 것으로 의심되는 경우(21건)였다.

한계

시뮬레이터로 렌더링한 실내 장면만 다루며, 카메라 자세와 보정값이 정확하게 주어진다는 가정이 있다. 모델·장면 쌍마다 에피소드를 한 번만 실행해 실행 간 편차는 보고하지 않았다. 평가 대상은 7개 모델이며, 물체 중심 좌표만 추정하고 크기·방향은 평가하지 않는다.

의미

로봇이나 임베디드 에이전트에 VLM을 쓰려면 정확한 공간 지도를 스스로 만들어야 한다. 질의응답 점수와 달리 이 벤치마크는 실제 지도 품질을 수치로 측정해 현재 모델의 한계를 구체적으로 보여준다.

핵심 용어

능동 지각(Active Perception)

주어진 이미지를 보기만 하는 대신, 다음에 어디를 볼지 스스로 정해 필요한 시각 증거를 모으는 방식이다.

삼각측량(Triangulation)

서로 다른 위치에서 찍은 두 장 이상의 이미지에서 같은 점을 찾아, 시선이 만나는 지점으로 3D 위치를 계산하는 기법이다.

3D IoU

예측한 3D 박스와 정답 박스가 겹치는 부피를 둘을 합친 부피로 나눈 값이다. 1에 가까울수록 정확하다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, 외 · 게시 2026-10-19 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.