S-Agent 2.0: 범용 코딩 에이전트로 공간 추론하기

문제

3D 인식 도구를 쓰는 에이전트형 VLM은 공간 추론 성능을 크게 높였다. 하지만 도구가 맞는 근거를 돌려줘도 모델이 정답을 못 내는 경우가 많다. 저자들이 SpatialClaw Trajectory를 분석해 보니, 실패는 대부분 측정 단계가 아니었다. 회전 부호나 좌표계를 잘못 읽거나, 측정값을 두고도 이미지를 눈대중으로 보고 답하는 식이었다.

방법

OpenHands 같은 범용 코딩 에이전트는 그대로 두고 명령줄 인식 툴킷을 추가했다. recon은 여러 프레임을 중력 정렬된 미터 단위 3D 장면으로 합치고, segment는 모델이 쓴 문장을 프롬프트로 객체 마스크를 만든다. 결과는 이름 붙은 인스턴스로 장면 메모리에 저장되며, 모델도 add-instance로 가상의 관찰자 등을 등록하거나 drop으로 잘못된 인스턴스를 지울 수 있다. 거리·방향·움직임 같은 측정값은 메모리에서 바로 계산하고, 좌표계와 기준 객체를 밝힌 한 문장 해석과 함께 돌려준다. 인식 모델로는 Depth Anything 3, SAM 3, GeoCalib 등을 고정해서 쓴다.

결과

• Qwen3.8-27B 백본에서 툴킷은 도구 없는 같은 에이전트보다 MMSI-Bench +13.9점, ReVSI +20.5점을 더했다.
• Qwen3.8-27B에서 MMSI-Bench 66.5, ReVSI 82.3으로 같은 백본의 SpatialClaw(62.6, 74.5)보다 높았다.
• Gemini-3.8-Flash에서는 74.1, 90.5로 SpatialClaw(67.0, 79.7)를 앞섰다.
• 더 강한 백본으로 갈 때 ReVSI 도구 이득이 SpatialClaw는 +13.2에서 +2.7로 줄었지만 S-Agent 2.0은 +9.6을 유지했다. Codex와 Claude Code 하네스에서도 동작했다.

한계

저자들이 밝힌 남은 실패는 질문을 적절한 측정으로 옮기는 단계(model-to-tool grounding)다. 성능은 고정된 외부 인식 모델의 품질에 의존한다. 평가는 공개 벤치마크 질문응답에 한정되며, 여러 도구 호출로 생기는 비용과 지연은 확인한 본문 범위에서 다뤄지지 않았다.

의미

전용 에이전트 루프를 새로 설계하기보다 범용 코딩 에이전트에 잘 설계된 CLI 도구를 붙이는 편이 더 낫고, 백본이 강해져도 이득이 유지될 수 있음을 보여 준다. 도구가 숫자 대신 해석된 문장을 돌려주는 인터페이스 설계는 다른 도메인 에이전트에도 적용해 볼 만하다.

핵심 용어

Evidence loop

근거를 수집하고, 기억하고, 해석해 답까지 연결하는 과정이다. 이 중 하나라도 끊기면 측정이 맞아도 답이 틀린다.

장면 메모리(Scene memory)

3D 점구름과 이름 붙은 객체별 위치·범위·자세를 저장하는 영구 저장소다. 모델은 이름만 기억하면 측정값을 다시 꺼내 쓸 수 있다.

코딩 에이전트 하네스

셸, 파일 시스템, 코드 실행, 도구 호출 루프를 제공하는 OpenHands·Codex·Claude Code 같은 실행 환경이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Rui Gong, Ruoyu Wang, Yalun Dai, Hao Li, Sidi Yang, Qihao Zhao, Hongyu Li, Zeyang Guan, 외 · 게시 2026-10-20 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.