논문 리뷰 · 2026년 11월 14일
Duo: 실시간 양방향 대화를 위한 상호적 월드 모델
Duo: A Reciprocal World Model for Full-Duplex Interaction
의도를 결정하는 언어 모델과 음성·영상을 생성하는 Diffusion 모델을 하나의 타임라인으로 묶어, 사용자와 끼어들기까지 가능한 실시간 양방향 영상 대화를 구현했다.
문제
기존 월드 모델은 물리 세계를 시뮬레이션하는 데 집중했다. 사용자는 키보드·마우스·텍스트처럼 자유도가 낮은 입력으로만 세계를 조종했다. 세계 안에 사용자를 실시간으로 지각하고 응답할 지능은 없었다.
방법
Reciprocal World Model(RWM)을 제안하고 그 구현체로 Duo v1을 만들었다. Intent Module은 멀티모달 언어 모델로, 17프레임(약 0.71초) 청크마다 <speak>+텍스트 또는 <wait>를 자기회귀로 출력한다. Realization Module은 MiniMax-H3로 초기화한 causal 오디오·비디오 Diffusion Transformer로, Intent의 hidden state를 조건으로 음성과 영상을 함께 생성한다. 모든 입력은 하나의 타임라인에 맞추고, 모듈별 attention mask로 미래 정보 접근을 막는다. 마지막으로 Dual rollout Distillation을 적용한다. Intent가 생성한 텍스트와 Realization이 직접 생성한 과거 오디오·비디오를 조건으로 DMD를 수행해, 4-step 스트리밍 생성기를 얻는다.
결과
- 사용자 음성·영상·텍스트를 계속 지각하면서 청크 단위(약 0.71초)로 응답하는 full-duplex 상호작용을 구현했다고 보고했다.
- Intent의 학습 데이터는 대부분 새 발화가 없는 청크다. 저자들은 행동별 재가중으로 모델이 항상 <wait>만 내는 붕괴를 막았다고 설명했다.
- Dual rollout Distillation으로 학습과 실제 추론 조건의 차이를 줄인 4-step 스트리밍 생성기를 얻었다고 보고했다.
- 대화 외에도 실물 보여주기, 가상 장면 바꾸기, 오디오·비디오 게임 같은 시나리오를 시연했다. 모델은 공개했다.
한계
기술 보고서 성격이다. 제공된 본문 범위에는 지연 시간, 생성 품질, 대화 적절성 등의 정량 평가나 기준 모델 비교가 없다. 저자들도 v1을 첫 단계로 소개한다. 학습 데이터 상당 부분은 스크립트로 합성한 영상 통화다.
의미
AI 아바타나 가상 상담원처럼 실시간으로 보고 듣고 말하는 인터페이스를 하나의 시스템으로 묶는 구조를 보여준다. 언어 모델이 '말할지 기다릴지'를 직접 결정하는 설계는 자연스러운 끼어들기와 대화 타이밍 처리에 참고가 된다.
핵심 용어
- Full-duplex
- 양쪽이 동시에 말하고 들을 수 있는 통신 방식이다. 상대가 말하는 도중에 끼어들거나 반응할 수 있다.
- Intent / Realization
- Intent는 언제 무엇을 말할지 정하는 인지 모듈이다. Realization은 그 의도를 음성과 영상으로 표현하는 생성 모듈이다.
- DMD(Distribution Matching Distillation)
- 여러 step이 필요한 Diffusion 모델을 적은 step으로 생성하는 Student 모델로 Distill하는 기법이다. 출력 분포를 맞추는 방식으로 학습한다.
원문
저자: Hengyuan Cao, Biao Gong, Guoshan Lu, Qiyuan Zhang, Lin Liu, Yiding Tian, Yilei Jiang, Yuxin Ma, 외 · 게시 2026-11-11 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.