VLA: 보고 이해하고 움직이는 로봇 모델

왜 필요했나: 로봇은 웹만큼 데이터를 모을 수 없다

로봇 팔이 물건을 집고 옮기도록 학습한 정책(관찰을 보고 다음 행동을 고르는 규칙)은 학습 데이터 밖으로 나가면 쉽게 무너진다. OpenVLA논문 논문은 기존 정책이 물체 위치나 조명 변화 정도는 견디지만, 주변에 다른 물건이 놓이거나 처음 보는 물체, 처음 듣는 지시 앞에서는 약하다고 정리했다. 가장 큰 로봇 조작 데이터셋도 예시가 10만~100만 개 수준이라, 수십억 개 토큰과 이미지로 학습하는 언어·비전 모델과는 규모 차이가 크다.

그렇다고 대규모 언어 모델(LLM)이나 비전-언어 모델(VLM, 이미지와 글을 함께 이해하는 모델)을 로봇에 그대로 붙이기도 어렵다. 이런 모델은 의미, 이름표, 텍스트로 생각하지만 로봇에게 필요한 것은 '손끝을 어느 좌표로 얼마나 움직일지' 같은 저수준 명령이기 때문이다. RT-2논문 논문에 따르면 그전까지 LLM·VLM을 로봇에 쓰던 방식은 대부분 상위 계획만 맡았다. 모델이 지시를 '집기', '놓기' 같은 기본 동작으로 쪼개면, 실제 움직임은 따로 학습한 하위 제어기가 맡는 구조다.

문제는 이 하위 제어기가 웹 규모 모델의 풍부한 지식을 학습 중에 전혀 받지 못한다는 점이다. 그래서 RT-2는 '대규모 사전학습 VLM을 저수준 로봇 제어에 직접 통합하면 일반화가 좋아지고 의미 추론 능력이 생기는가'를 물었다. 이 질문에서 나온 모델 묶음이 VLA(Vision-Language-Action, 비전-언어-행동 모델)다.

핵심 아이디어: 행동을 또 하나의 언어로 가르친다

RT-2의 착상은 단순하다. 로봇 행동을 또 하나의 언어처럼 보고, 이를 텍스트 토큰(모델이 읽고 쓰는 글자 조각)으로 바꿔 자연어 토큰과 같은 방식으로 학습 데이터에 넣는다. 그러면 원래 질문에 답을 쓰던 VLM이 '카메라 장면과 지시'를 보고 '행동 토큰'으로 답하게 된다. 논문은 이 방식이 새 파라미터를 추가하지 않고, 이미 큰 계산 비용을 들여 학습한 VLM을 그대로 재활용한다는 점을 강조했다.

비유하자면 여러 나라 말을 잘하는 통역사에게 '로봇 관절어'라는 언어를 하나 더 가르치는 일이다. 통역사는 이미 세상 물건의 이름, 관계, 상식을 알고 있으므로 새 언어만 익히면 그 지식을 새 언어로 표현할 수 있다. 다만 새 언어만 너무 오래 공부시키면 원래 지식을 잊을 수 있다. 그래서 RT-2는 로봇 Trajectory(시간 순서대로 기록된 관찰·행동 묶음) 데이터와 웹의 시각 질의응답 같은 작업을 함께 파인튜닝(co-fine-tune)했다.

이렇게 하면 로봇 데이터에 없던 지시도 알아듣게 된다. RT-2는 물체를 특정 숫자나 아이콘 위에 놓으라는 지시, 가장 작은 물체나 다른 물체에 가장 가까운 물체를 집으라는 지시를 처리했다. 여기에 CoT(Chain-of-Thought, 답을 내기 전에 단계별로 생각을 적게 하는 방식)를 더하면, 임시 망치로 쓸 물건으로 돌을 고르거나 피곤한 사람에게 에너지 음료를 고르는 식의 여러 단계 추론도 보였다.

어떻게 작동하나: 보고, 생각하고, 움직이고, 다시 본다

VLA가 한 번 움직이는 과정은 다음 단계로 나눠 볼 수 있다. 첫째, 카메라 이미지와 "컵을 접시 옆에 놓아" 같은 지시문이 들어온다. 둘째, 비전 인코더(이미지를 숫자 표현으로 바꾸는 모듈)가 이미지를 작은 조각(패치)으로 나눠 각각을 표현으로 바꾼다. OpenVLA 논문은 최근 공개 VLM들이 이 패치 표현을 토큰처럼 취급해 언어 모델 입력 공간으로 옮기는 단순한 'patch-as-token' 방식으로 모였다고 설명한다.

셋째, 언어 모델 백본(모델의 중심 몸통)이 이미지 토큰과 지시문 토큰을 함께 읽는다. 넷째, 행동을 출력한다. 여기서 길이 두 갈래로 나뉜다. RT-2와 OpenVLA는 행동을 텍스트 토큰으로 생성한 뒤 다시 로봇 명령으로 디토큰화(토큰을 원래 값으로 되돌리기)한다. π0논문는 사전학습 VLM 위에 흐름 매칭(flow matching) 구조를 얹었다. 흐름 매칭은 무작위 노이즈에서 출발해 여러 번 조금씩 다듬어 연속적인 값을 만드는 생성 방식으로, 디퓨전 모델과 비슷한 계열이다.

다섯째, 로봇이 그 행동을 실행하면 장면이 바뀌고, 새 카메라 이미지가 다시 모델에 들어간다. RT-2 논문은 이를 폐루프 제어(closed-loop control, 결과를 다시 보고 다음 행동을 정하는 고리)라고 부른다. 즉 VLA는 한 번 계획을 세우고 끝나는 것이 아니라, 매 순간 '보고 → 행동하고 → 다시 보는' 고리를 계속 돈다. 이 고리를 얼마나 빨리 돌 수 있는지가 뒤에서 볼 효율 연구의 출발점이 된다.

발전 흐름: RT-2에서 OpenVLA, π0까지

RT-22023 논문는 VLA라는 이름과 기본 방법을 세웠다. 행동을 텍스트 토큰으로 표현하고 웹 데이터와 로봇 데이터를 함께 파인튜닝하는 '단순하고 일반적인 방법'을 제안했고, 6천 번의 평가 시도로 새 물체에 대한 일반화와 웹 지식에서 나온 추론 능력을 보였다. RT-1의 실험 방식과 비슷한 데이터를 쓰되 모델을 큰 VLM 백본으로 키운 것이 이름의 유래다.

OpenVLA2024 논문는 두 가지 문제를 겨냥했다. 기존 VLA가 대부분 비공개라 구조·학습 과정·데이터 믹스를 볼 수 없다는 점, 그리고 새 로봇·환경에 맞춰 효율적으로 파인튜닝하는 방법이 연구되지 않았다는 점이다. OpenVLA는 Llama 2 언어 모델에 DINOv2와 SigLIP 특징을 합친 비전 인코더를 붙인 7B 파라미터 모델로, Open X-Embodiment 데이터셋의 실제 로봇 시연 97만 개로 학습했다. 29개 작업에서 55B 파라미터의 RT-2-X보다 절대 성공률이 16.5% 높았고 파라미터는 7배 적었다. 처음부터 학습하는 모방학습 방식인 Diffusion Policy보다도 20.4% 앞섰다. LoRA(일부 파라미터만 가볍게 학습하는 방법)와 양자화로 소비자용 GPU에서 파인튜닝하고, 성공률 손실 없이 효율적으로 서빙할 수 있음을 처음 보였다는 점도 실무적으로 중요하다.

π02024 논문는 행동 출력 방식을 바꿨다. 행동을 토큰으로 쪼개는 대신, 사전학습 VLM 위에 흐름 매칭 구조를 얹어 인터넷 규모의 의미 지식을 이어받으면서 연속적인 행동을 만든다. 한 팔 로봇, 두 팔 로봇, 이동형 조작 로봇 등 여러 섬세한 로봇 플랫폼의 대규모 데이터로 학습했고, 사전학습 직후 바로 작업을 수행하는 능력, 사람이나 상위 VLM 정책의 언어 지시를 따르는 능력, 파인튜닝으로 새 기술을 익히는 능력을 평가했다. 빨래 개기, 테이블 치우기, 상자 조립처럼 손재주가 필요한 작업까지 다룬 것이 특징이다.

요즘 어디로 가고 있나: 더 빠르게, 더 오래 기억하게

첫째 방향은 속도다. 로봇은 실시간으로 움직여야 하는데, 흐름 매칭 VLA는 노이즈를 다듬는 단계마다 행동 담당 모듈(action expert)을 반복해서 돌려야 해 비용이 크다. MambaAct논문는 π0의 후속 모델인 π0.5에서 시각·언어를 읽는 앞부분은 그대로 두고, 트랜스포머 기반 행동 모듈을 Mamba 기반의 작은 모듈로 바꿨다. Mamba는 상태 공간 모델(SSM) 계열로, 긴 시퀀스를 트랜스포머보다 가볍게 처리하는 구조다. 그 결과 행동 모듈이 10배 작아졌고, 노이즈 제거 지연 시간이 LIBERO 시뮬레이션에서 64.8%, 실제 로봇 배치에서 58.8% 줄었으며, LIBERO 평균 성공률은 1.08%p 올랐다.

둘째 방향은 기억이다. 로봇 조작에서는 이미 화면에서 사라진 정보를 기억해야 할 때가 많다. 예를 들어 컵을 섞은 뒤 공이 어느 컵 밑에 있는지, 물건을 몇 개 옮겼는지 같은 것이다. LTM논문은 연속된 두 관찰 사이의 변화를 압축된 잠재 표현(Latent Transition)으로 저장하고, KV 캐시를 써서 단계마다 조금씩 이어 계산한다. π0.5 위에 얹은 LTM-π는 RoboMME에서 58.54%, LIBERO-Mem에서 80.5% 성공률을 냈고, 실제 로봇 세기(counting) 작업에서는 성공률이 11.25%에서 82.50%로 올랐다. 기억을 200토큰으로 제한해도 84.00%를 유지해(압축하지 않았을 때 87.50%), 제한된 컨텍스트 안에서 기억을 다루는 길을 보였다.

두 연구 모두 VLA를 처음부터 다시 만들지 않는다. 이미 사전학습된 VLA 위에 모듈을 바꾸거나 덧붙이는 방식이다. RT-2가 '이미 큰돈 들여 학습한 VLM을 재활용하자'고 한 발상이, 이제는 '이미 학습한 VLA를 재활용하자'는 형태로 이어지고 있는 셈이다.

한계와 쟁점: 알아듣는 것과 해내는 것은 다르다

가장 근본적인 한계는 RT-2 논문이 스스로 밝혔다. 모델의 물리적 기술은 여전히 로봇 데이터에서 본 기술의 분포 안에 머문다. 웹 지식은 이미 아는 기술을 새로운 방식으로 쓰게 해 줄 뿐, 로봇이 한 번도 해 보지 않은 동작을 만들어 주지는 않는다. 로봇 데이터가 웹 데이터보다 훨씬 적다는 출발점의 문제는 아직 그대로다.

지시 따르기도 생각만큼 되지 않는다. 진단 연구논문는 기존 연구가 '무엇을 하라'(What-level)는 지시에 집중했고 '어떻게 하라'(How-level)는 지시는 거의 다루지 않았다고 지적했다. 진단해 보니 How-level 지시는 현재 VLA에 도움이 되지 않았고 오히려 작업 성공률을 낮췄다. 학습 에피소드 하나에 지시문 하나만 붙이는 관행이 원인이라고 보고 구간별로 풍부한 지시로 학습시키자 행동이 지시에 반응하기 시작했지만, 성공률이 꾸준히 오르지는 않았다. 지시에만 주어진 조건을 지켜야 성공하는 SIMPLER-IN 평가에서는, 까다롭거나 학습 분포 밖의 How-level 지시까지 그 반응성이 넓어지지 않았다. 언어 백본이 지시를 잘 따른다고 해서 VLA도 그렇다고 기대하면 안 된다는 뜻이다.

수치를 읽을 때도 주의가 필요하다. 이 글에 나온 성공률 상당수는 LIBERO 같은 시뮬레이션 벤치마크나 정해진 실험 작업에서 나온 값이고, 실제 가정이나 공장 환경 성능을 그대로 보여 주지 않는다. 로봇은 사람과 같은 공간에서 물리적으로 움직이므로, 잘못된 동작은 화면 속 오답보다 피해가 크다. 실제 현장에 둘 때는 작업 범위를 제한하고 사람이 감독하며 멈출 수 있는 장치를 두는 것이 전제다.

더 공부하려면

처음이라면 RT-2논문의 서론과 그림 1부터 읽는 것이 좋다. '행동을 또 하나의 언어로 본다'는 발상과 기존 모듈형 방식과의 차이가 가장 잘 정리돼 있다. 이어서 OpenVLA논문를 읽으면 실제 모델이 어떤 부품(Llama 2, DINOv2, SigLIP)으로 조립되는지, LoRA와 양자화로 어떻게 작은 GPU에서 다룰 수 있는지 구체적으로 볼 수 있다. 코드와 체크포인트가 공개돼 있어 직접 돌려 보기에도 좋다.

행동을 토큰이 아닌 연속값으로 만드는 흐름을 이해하려면 π0논문를 본다. 그다음 MambaAct논문를 읽으면 흐름 매칭 VLA에서 어디가 속도 병목인지 감이 온다. 기억 문제는 LTM논문, 지시 따르기의 현재 한계는 How-level 진단 연구논문가 짧고 분명하게 보여 준다.