GroundingPI: 시각 프리미티브 기반의 피지컬 AI용 Grounding 파운데이션 모델

문제

VLA·월드 액션 모델은 범용 VLM이나 영상 생성 백본에서 인지 능력을 가져온다. 이런 백본은 복잡한 장면이나 작은 물체에서 '어떤 물체가 어디 있는지'를 정확히 짚지 못한다. 그 결과 부족한 행동 데이터가 인지까지 함께 떠맡게 된다.

방법

MoonViT-V2 비전 인코더와 Qwen3-4B 디코더를 결합했다. 점과 박스를 0~999로 양자화한 좌표 토큰으로 바꿔 라벨과 같은 어휘 안에서 생성하게 했고, 이를 통해 검출·참조·포인팅·OCR·GUI·레이아웃 Grounding을 하나의 형식으로 묶었다. 학습은 멀티모달·공간 사전학습, SFT, GRPO 강화학습 순서로 진행했다. GRPO 보상에는 IoU 기반 커버리지와 F1·개수·중복 박스 감점 등을 섞었다. 여러 Teacher 모델의 라벨을 합치고 검증하는 데이터 엔진도 함께 사용했다. 다운스트림에서는 이 모델을 Action DiT의 시각 백본으로 쓰거나, 좌표 토큰으로 주행 Trajectory를 생성하게 했다.

결과

• 11개 인지 능력에 걸친 34개 Grounding 벤치마크 평균 73.68%로, 44개 기준선 중 더 큰 모델인 GPT-6 Astra(71.54%)보다 높았다.
• 밀집 장면 벤치마크 Dense200(F1mIoU)에서 74.53을 기록했다. GPT-6 Astra는 65.04, Qwen3-VL-4B는 14.02였다.
• RoboTwin 2.0의 4개 분포 외(OOD) 설정 모두에서 비교한 백본 전부보다 높았고, 가장 강한 백본 대비 최대 24.8%(상대) 개선됐다.
• RoboCasa-GR1에서는 시연 데이터 50%만 써도, 75%로 학습한 기준선들보다 성능이 좋았다.
• nuScenes 시각 백본으로 쓴 경우 평균 Open-loop L2 오차가 0.296m였다. 저자들은 사전학습 규모를 키울수록 다운스트림 성능도 오른다고 보고했다.

한계

저자들도 VisDrone 같은 작은 물체 검출은 여전히 어렵다고 밝혔다. 자사 모델은 10회 평균, 로컬에서 돌린 기준선은 비용 문제로 3회 평균이라 측정 조건이 다르다. 일부 GUI 평가에는 프롬프트·파서 불확실성이 있다고 표시돼 있다. 자율주행 평가는 전방 카메라 한 대를 쓴 Open-loop 평가뿐이고, 로봇 실험도 시뮬레이션 벤치마크 중심이다.

의미

로봇·자율주행 모델의 백본을 고를 때 '정밀한 인지'가 따로 키울 가치가 있는 능력이라는 근거를 준다. 4B 크기여서 지연 시간이 중요한 실시간 제어에 쓸 여지도 있다.

핵심 용어

Visual Grounding

텍스트로 지정한 대상이 이미지의 어디에 있는지를 박스나 점으로 찾아내는 작업이다.

VLA(Vision-Language-Action)

이미지와 언어 지시를 입력받아 로봇 행동을 출력하는 모델이다.

양자화 좌표 토큰

좌표를 0~999 같은 정수 구간으로 나눠 토큰으로 표현하는 방식이다. 언어 모델이 텍스트처럼 좌표를 생성할 수 있다.

GRPO

한 입력에 여러 응답을 생성하고, 그룹 안에서 상대 보상을 비교해 정책을 업데이트하는 강화학습 기법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Qize Yu, Lianrui Fan, Boyu Chen, Jiaqi Liang, Xini Ding, Yue Chen, Zetian Song, Yuran Wang, 외 · 게시 2026-09-30 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.