Sensorimotor Alignment: 로봇 정책 성공률을 예측하는 Platonic 오프라인 지표

문제

로봇 파운데이션 모델은 시뮬레이션이나 실제 환경의 폐루프 Rollout으로 평가하는데, 느리고 잡음이 많으며 비싸다. VQA 점수나 영상 품질 지표 같은 기존 오프라인 대리 지표는 수동적 인식이나 생성 품질만 재기 때문에, Representation이 행동에 맞게 조직되어 있는지는 반영하지 못한다.

방법

Platonic Representation Hypothesis(PRH)를 로봇 분야로 확장해, 유능한 모델일수록 감각 Representation이 동작 구조와 정렬될 것이라고 가정한다. DROID·BridgeDataV2 같은 로봇 데이터셋의 각 에피소드에서 이미지 한 프레임과 지시문을 모델 인코더에 넣어 감각 임베딩을 얻는다. 이후 h 스텝 동안의 엔드이펙터 위치·회전·그리퍼 상태를 동작 Representation으로 쓴다. 감각 공간(코사인 거리)과 동작 공간(DTW 거리)에서 각각 k-최근접 이웃을 구하고, 두 집합이 얼마나 겹치는지(CKNNA 변형, k=10)를 S²로 정의한다.

결과

• VLA 12개: S²와 SimplerEnv 성공률의 Pearson r=+0.717(95% CI [+0.436, +0.912]).
• 원시 VLM 백본 8개: S²는 VLA로 파인튜닝한 뒤의 성공률과 r=+0.681(p=0.031)로 상관했다. VQA 점수는 r=−0.154로 거의 상관이 없었다.
• WAM 6개는 r=+0.718(p=0.054), 실제 로봇 정책 5개(MolmoBot 보고 결과, 40개 과제)는 r=+0.831(p=0.041)이었다. WAM 3개 비교에서는 S²(r=+0.999)가 SSIM·PSNR·FID보다 성공률 순서를 잘 맞췄다.
• 음성 대조 실험: 양팔 WAM을 단일 팔 데이터(DROID)로 측정하면 상관이 +0.999에서 +0.246으로 떨어져, 지표가 embodiment 불일치에 반응함을 보였다.
• 저자들은 파인튜닝된 VLA의 성공률이 텍스트가 아닌 비전 특징의 S²와 상관한다는 점을 들어, VLA가 지시문보다 시각 정보에 의존한다는 표현 수준 설명을 제시했다.

한계

모델 수가 계열별 3~12개로 적다. p값은 다중 비교 보정을 하지 않은 단측 값이고, WAM 상관은 p=0.054로 통상 유의수준에 걸친다. 실제 로봇 결과는 다른 논문(MolmoBot)이 보고한 5개 정책 수치를 재사용했다. 결과는 상관관계이며 S²가 성공률의 원인임을 보이지는 않는다. 대상은 조작(manipulation) 과제에 한정된다.

의미

VLA 백본 선택이나 여러 체크포인트 비교처럼 폐루프 평가 비용이 큰 상황에서, 어떤 모델부터 평가할지 정하는 저비용 사전 선별 도구로 쓸 수 있다. 성공률만으로는 보이지 않는 Representation 수준의 진단 관점도 제공한다.

핵심 용어

Platonic Representation Hypothesis(PRH)

모델이 커지고 유능해질수록 이미지·텍스트 등 서로 다른 모달리티의 Representation이 현실의 공통 통계 구조로 수렴한다는 가설이다.

VLA(Vision-Language-Action) 모델

이미지와 언어 지시를 입력받아 로봇 행동을 직접 출력하는 모델로, 보통 VLM을 로봇 데이터로 파인튜닝해 만든다.

WAM(World Action Model)

영상 생성 모델을 기반으로 미래 장면 예측과 행동 출력을 함께 하는 로봇 모델이다.

상호 최근접 이웃 정렬

두 공간에서 각 샘플의 k-최근접 이웃 집합이 얼마나 겹치는지로 두 Representation의 구조적 유사성을 재는 방법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei · 게시 2026-10-22 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.