픽셀에서 행동으로: 비전 인코더 없는 네이티브 VLA 정책

문제

대부분의 VLA(Vision-Language-Action) 모델은 CLIP·SigLIP 같은 사전학습 비전 인코더로 이미지를 먼저 압축하고, 그 최종 출력만 행동 예측에 쓴다. 하지만 로봇 조작에는 국소 기하, 경계, 깊이, 미세한 상태 변화 같은 신호가 중요하다. 이런 신호는 압축 과정에서 사라지기 쉽다.

방법

NEO-VLA는 가벼운 2단계 합성곱 패치 임베더(stride 32)로 픽셀을 바로 백본 토큰 공간에 넣는다. 이미지와 언어는 40층, 2B 파라미터의 인코더 없는 비전-언어 백본에서 함께 처리된다. 시간·높이·너비를 분리한 Native RoPE와 모달리티별 어텐션(텍스트는 causal, 이미지 블록 안은 양방향)을 쓴다. Flow matching으로 학습한 별도 Action Expert는 선택한 백본 층의 KV 캐시를 읽어 연속 행동 묶음(action chunk)을 예측한다. 어느 층을 읽을지(first-28, skip-28, end-28, full-40)를 바꿔 가며 행동에 필요한 시각 정보가 어디에서 나타나는지 분석했다. 9개 공개 데이터셋 계열 약 223만 에피소드, 9,927시간 분량의 로봇 데이터를 품질 필터링해 사전학습에 썼다.

결과

• 저자들은 같은 Action Expert와 로봇 학습 데이터를 쓸 때 NEO-VLA가 Qwen3-VL-2B, Gemma-3-4B 기반보다 LIBERO 성공률이 꾸준히 높았다고 보고했다. 특히 백본을 고정했을 때 차이가 컸다.
• 백본을 고정한 상태에서는 초기 층을 포함해 읽는 설정이 후반 층만 읽는 설정보다 일관되게 좋았다. 전체 파인튜닝 후에는 초기·후반 층을 함께 읽는 설정이 가장 좋았다.
• 관측끼리 초기 층 활성값을 바꿔 넣으면 후반 층을 건드릴 때보다 예측 오차가 훨씬 크게 늘었다. 저자들은 이를 행동에 중요한 정보가 최종 Representation보다 앞에서 정점을 찍는다는 근거로 해석했다.
• 저자들은 LIBERO, LIBERO-plus, RoboTwin 2.0에서 좋은 성능을 보였고, 특히 카메라 교란과 이미지 노이즈 같은 분포 변화에서 이득이 컸다고 보고했다.

한계

저자들도 밝혔듯 비교 백본끼리 사전학습 방식과 모델 용량이 다르다. 그래서 성능 차이를 인코더 제거만의 효과로 보기 어렵다. 평가는 주로 시뮬레이션 벤치마크(LIBERO 계열, RoboTwin 2.0)이며, 제공된 본문 범위에서는 실제 로봇 실험과 구체적 성공률 수치를 확인할 수 없다. full-40 설정은 Action Expert가 더 커서 다른 설정과 직접 비교하기 어렵다.

의미

VLA 설계에서 당연하게 여기던 '비전 인코더 출력 하나만 쓴다'는 전제에 도전한다. 어느 층의 시각 정보를 행동 예측에 넘길지가 성능과 견고성을 좌우할 수 있다는 점을 보여 주며, 모델 코드·가중치·데이터도 공개했다.

핵심 용어

VLA(Vision-Language-Action)

이미지와 언어 지시를 받아 로봇 행동을 직접 출력하는 모델이다.

Encoder-free(네이티브) 멀티모달 모델

따로 사전학습한 비전 인코더 없이, 가벼운 패치 임베더로 픽셀을 언어 백본에 바로 넣는 구조다.

Flow matching

노이즈에서 정답 데이터로 가는 속도장(velocity field)을 학습하는 생성 기법이다. 여기서는 연속적인 로봇 행동 묶음을 생성하는 데 쓴다.

Action Expert

백본과 분리된 작은 트랜스포머다. 백본 층의 KV 캐시를 참조해 행동을 예측한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu, Mingze Sun, Ziyi Wang, 외 · 게시 2026-11-04 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.