논문 리뷰 · 2026년 10월 27일
RynnUnify: 통합 체화 지능(Embodied Brain)을 향하여
RynnUnify: Towards Unified Embodied Brain
16B 통합 멀티모달 모델로 체화 이해와 비디오 예측을 교차 추론으로 결합해, 장기 시각 계획·예측 추론·로봇 제어를 하나의 기반 모델에서 수행했다.
문제
로봇이 여러 단계의 작업을 하려면 장면을 이해하고, 결과를 예측하고, 행동으로 옮겨야 한다. 기존 통합 멀티모달 모델은 장기 계획에서 장면 변화와 예측 오차가 누적되고, 정적 이미지 예측은 중간 동역학을 놓친다. 장기 시각 계획과 비디오 예측이 추론에 주는 효과를 평가할 벤치마크도 부족했다.
방법
Cosmos3의 MoT 구조를 따라 8B 자기회귀 reasoner와 8B rectified-flow 비디오 생성기를 joint attention으로 연결했다. reasoner가 다음 하위 과제, 예상 시각 변화 설명, 길이를 출력하면 생성기가 영상을 만들고, 마지막 프레임이 다음 추론의 관찰이 된다. 참조 프레임 4장의 장면 메모리, 이전 클립 끝부분의 시간 prefix, self-forcing으로 장기 생성 일관성을 높였다. 확장은 두 가지다. 하나는 강화학습으로 비디오 생성 호출 여부를 고르게 한 8B 에이전트, 다른 하나는 잠재 계획과 영상-행동 공동 학습으로 만든 World-Action Model이다. 평가용으로 Rynn-VP와 Rynn-GEU를 새로 만들었다.
결과
- 평가한 통합 멀티모달 모델 중 체화 이해 평균 점수가 가장 높았다고 보고했다.
- Rynn-VP 종합 점수가 Cosmos 3 Nano보다 9.75점 높았다.
- 에이전트 확장은 Rynn-GEU 평균에서 직접 추론 대비 6.0점 향상했다.
- World-Action 확장은 RoboCasa365의 선택된 복합 과제 20개에서 성공률 51.5%, 실제 로봇(Astribot S1) 과제 3개에서 평균 46.7%를 기록했다.
한계
Rynn-VP와 Rynn-GEU는 저자들이 직접 만든 벤치마크다. RoboCasa365은 선택된 20개 과제만, 실제 로봇은 3개 과제만 평가했다. 이해 성능 비교 대상은 통합 멀티모달 모델로 한정된다. 16B 모델에 비디오 생성을 반복하므로 추론 비용이 클 수 있다.
의미
이해·예측·행동을 하나의 모델로 묶는 '로봇 두뇌' 방향의 구체적 사례다. 영상으로 미래를 그려 보고 그 결과로 다음 계획을 세우는 방식이 실제 로봇 제어로 이어질 수 있는지 보여 준다.
핵심 용어
- MoT(Mixture-of-Transformers)
- 이해용 reasoner와 생성용 생성기가 각자 Transformer 파라미터를 갖되 attention으로 정보를 주고받는 구조다.
- 교차 비디오-언어 추론
- 언어로 다음 단계를 계획하고, 그 결과를 영상으로 예측하고, 예측 영상을 다시 해석해 다음 계획을 세우는 반복 과정이다.
- World-Action Model(WAM)
- 세계 변화 예측(영상)과 로봇 행동을 함께 학습해, 예측 능력을 실제 제어로 연결하는 모델이다.
- Self-forcing
- 학습 때 모델이 직접 생성한 프레임을 조건으로 넣어, 긴 생성에서 오차가 누적되는 문제를 줄이는 기법이다.
원문
저자: Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang, Yifei Yang, Zhikai Wang, Tianyi Zhang, 외 · 게시 2026-10-23 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.