논문 리뷰 · 2026년 10월 13일

Reflex: 시각에 근거한 반응형 휴머노이드 전신 제어

Reflex: Visually Grounded Reactive Humanoid Control

전신 제어, 물체 동역학 추론, 1인칭 시각 grounding을 3단계로 나눠 학습해, 실제 Unitree G1이 온보드 RGB-D만으로 사람이 던진 상자를 받게 했다.

문제

날아오는 물체에 전신으로 1초 안에 반응하려면 전신 협응, 지연 속 실시간 동역학 예측, 움직이는 1인칭 카메라 기반 인식이 동시에 필요하다. 기존 시스템은 엔드이펙터, 모션 캡처, 마커가 붙은 물체에 의존해 이 중 일부만 해결했다.

방법

상자 받기를 대표 과제로 삼아 3단계로 학습한다. 1단계에서는 시뮬레이터의 상자 상태를 입력으로, PPO와 인간 모션 prior(AMP)를 써서 전신 받기 Teacher 정책을 학습한다. 2단계에서는 20~60ms 지연과 누락이 있는 상자 관측을 8차원 동역학 잠재 벡터로 압축하는 privileged 인코더를 만든다. Teacher 행동 매칭으로 초기화한 뒤 DAgger 방식으로 데이터를 모으고 PPO로 정제한다. 3단계에서는 제어기를 고정한 채, RGB-D 이력과 카메라 자기 운동만으로 이 잠재 벡터를 회귀하는 시각 인코더를 학습한다.

결과

시뮬레이션에서 1인칭 RGB-D 기반 받기 성공률이 85.7%로, 상자 상태를 직접 받는 privileged 관측 기준(87.9%)에 가까웠다.
시간적 시각 이력을 빼면 성공률이 정면 투척에서 35.6%p, 측면 0.6m 오프셋 투척에서 39.8%p 떨어졌다.
실제 Unitree G1은 2.5m와 5m에서 사람이 던진 상자를 각각 65%, 40% 받았다. 같은 거리에서 사람의 성공률(85.0%, 68.3%) 대비 76%, 59% 수준이다.
행동 매칭 초기화가 가중치 매핑 초기화보다 평균 5.2%p 높았다. 전체 상자 상태보다 학습된 잠재 벡터를 회귀하는 편이 더 나았다.

한계

과제가 상자 받기 하나다. 실제 로봇 성공률은 거리가 멀어질수록 크게 떨어진다. 하드웨어의 카메라-제어 지연 중앙값(69ms)이 학습 때 넣은 지연 범위(20~60ms)를 넘는다. 일부 비교(지연 학습 효과 등)는 단일 시드 결과다.

의미

모션 캡처 같은 외부 장비 없이 온보드 시각만으로 빠르게 움직이는 물체에 전신 반응하는 휴머노이드를 실제 하드웨어에서 보였다. 인식과 제어를 잠재 벡터로 분리하는 설계는 다른 반응형 기술로 확장할 여지가 있다.

핵심 용어

Privileged Learning: 시뮬레이터에서만 얻을 수 있는 정확한 상태로 Teacher 정책을 학습하고, 실제 센서만 쓰는 Student가 이를 따라 배우게 하는 방법이다.
AMP(Adversarial Motion Prior): 판별기가 인간 모션 데이터와 비교해 '사람다운' 움직임에 보상을 주어, 로봇이 자연스러운 동작을 배우도록 돕는 기법이다.
DAgger: 학습 중인 정책이 실제로 방문한 상태에서 Teacher의 정답 행동을 추가로 수집해 데이터셋을 늘려 가는 모방학습 방법이다.
Ego-motion(자기 운동): 카메라가 달린 로봇 자신의 움직임이다. 영상 속 물체 움직임과 섞이므로 따로 입력해 주어야 물체 동역학을 제대로 추정할 수 있다.

원문

저자: Taoyang Jia, Weikai Huang, Linxin Song, Jared Darlington, Jieyu Zhao, Yue Wang, Jiafei Duan, Zhongzheng Ren, 외 · 게시 2026-10-08 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.