Hy-Nomas: 자유 형식 상호작용 월드 생성을 향하여

문제

상호작용 월드 모델은 생성 도중에 들어오는 사용자 명령을 따르고, 이전 행동의 결과와 장면 이력을 유지해야 한다. 양방향 DiT에 인과 마스크만 씌우는 것으로는 부족하다. 자기 생성 결과가 누적되면서 오차가 쌓이고, 지속되어야 할 장면 정보와 특정 시간에만 적용될 행동 지시를 구분하기도 어렵다.

방법

HunyuanVideo 1.5를 기반으로 세그먼트 단위 인과 어텐션과 카메라 cross-attention을 추가한 8B MMDiT를 만들었다. 학습 영상에는 피사체 ID, 장면 변화, 타임스탬프가 달린 행동을 담은 구조화 JSON 캡션과 ViPE로 추정한 카메라 Trajectory를 붙였다. 행동 인지 인과 어텐션은 장면 설명 텍스트는 이후 세그먼트에서도 볼 수 있게 하고, 행동 텍스트는 해당 시간 구간에만 적용한다. VLM Prompt Enhancer가 사용자 요청과 이력을 다음 세그먼트의 구조화 프롬프트와 길이로 바꾼다. 인과 생성 → 텍스트 상호작용 → 카메라 제어 → 모델 생성 이력으로 학습(segment forcing)하는 다단계 커리큘럼을 거친 뒤 확산 Distillation을 적용했다.

결과

• 저자들은 사람 평가에서 Hy-Nomas가 기존 월드 모델보다 우수하다고 보고했다. 제공된 본문 범위에는 구체 점수가 없다.
• 자유 텍스트 지시와 카메라 제어를 한 세션 안에서 섞어 쓰는 분 단위 Rollout을 지원한다고 밝혔다.
• 가변 길이 영상 패킹, 이질적 마스크를 처리하는 어텐션 커널, 분산 샤딩을 결합해 최대 360K 토큰의 패킹 시퀀스로 학습했다.
• 모델 가중치, 코드, 벤치마크, 기본 모델의 LoRA를 Distill된 모델로 옮기는 경량 적응 워크플로를 공개했다.

한계

제공된 본문에는 정량 평가 수치와 비교 대상의 세부가 잘려 있어 우위 폭을 확인하기 어렵다. 저자들은 시간적 인과 구조만으로 물리적 인과가 보장되지는 않는다고 밝혔고, 행동-결과 학습은 데이터와 평가에 의존한다. 자기 생성 이력에서 생기는 누적 오차와 공간 기억 등 남은 과제도 저자들이 언급했다.

의미

카메라 이동뿐 아니라 '무엇이 일어날지'를 자유 텍스트로 계속 지시할 수 있는 오픈 웨이트 월드 모델이라, 게임·시뮬레이션·인터랙티브 콘텐츠 연구에 바로 쓸 수 있는 기반을 제공한다. 캡션 구조와 어텐션 마스크를 함께 설계하는 방법은 다른 장기 영상 생성 연구에도 참고가 된다.

핵심 용어

월드 모델

사용자 행동이나 명령에 반응해 다음 시점의 시각적 관찰을 생성하는 상호작용형 가상 환경 모델이다.

행동 인지 인과 어텐션

장면 설명은 이후 세그먼트에서도 계속 참조하게 하고, 행동 지시는 정해진 시간 구간에만 보이도록 제한하는 어텐션 마스크 설계다.

KV 캐시 기반 자기회귀 생성

앞서 생성한 세그먼트의 key/value를 저장해 두고, 다음 세그먼트를 생성할 때 이력으로 재사용하는 방식이다.

Segment forcing

정답 영상 대신 모델이 직접 생성한 이전 세그먼트를 조건으로 학습시켜, 추론 때 누적되는 오차에 대비하는 학습 기법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, 외 · 게시 2026-10-27 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.