Any Time, Any Space: 월드 상태 중심의 에이전트형 영상 생성 프레임워크

문제

긴 영상을 여러 샷으로 만드는 에이전트형 영상 생성에서는 이전 장소로 돌아가거나 앞선 사건을 다른 시점에서 다시 보여줘야 한다. 기존 방식은 프롬프트, 최근 프레임, 참조 이미지만 넘겨서, 공유 좌표계나 시간 순서가 기록된 사건 정보가 없다. 그래서 연속되지 않은 샷 사이의 일관성을 유지하기 어렵다.

방법

ATAS는 시나리오를 재귀적으로 쪼개 장면, 공간 앵커, 카메라, 시간 구간, 사건 ID가 담긴 샷 요청으로 만든다. 장면 메모리에는 공유 좌표계에 등록한 정적 포인트 클라우드를 저장하고, 요청된 카메라 시점으로 다시 렌더링해 생성기에 참조로 준다. 사건 메모리에는 장면·사건·시간으로 색인한 동적 RGB-D·마스크 정보를 저장하고, 요청과 맞는 기록을 꺼내 쓴다. 생성된 클립은 재구성·등록한 뒤 필름 검토, 좌표계 등록, 상태 갱신 검사를 모두 통과할 때만 메모리에 넣는다. 최종 영상에 쓸지 여부는 메모리 반영과 따로 정한다.

결과

• Wan 3.0 백본에서 VBench·ST-Bench·ViStory 평균 0.734로 가장 강한 비교 에이전트 ReCA(0.648)보다 높았다. 저자들은 네 개 생성기 모두에서 종합 점수 1위라고 보고했다.
• MiniMax-H3 백본 평균 0.702로 ReCA(0.659)보다 높았다. 다만 Wan 2.7의 VBench 단일 지표는 ReCA(0.854)가 ATAS(0.846)보다 높았다.
• 공간 재방문 평가에서 PSNRC 15.968, SSIMC 0.385로 3D 기반 방법 ViewCrafter(15.255, 0.375)를 포함한 비교 방법보다 높았다.
• 사건 재현 평가 5개 기준 중 3개에서 1위였다. 시점 구현 점수는 0.650으로 ReCA(0.500)보다 높았지만, 행동·상태 점수는 ReCA(0.700)보다 낮은 0.688이었다.
• 저자들은 사람 평가 6개 기준 모두에서 평균 점수가 가장 높았다고 보고했다.

한계

사건 재현은 VLM 심판이 원본 사건 프레임을 기준으로 채점하고, 정답 영상은 쓰지 않아 평가가 심판 모델에 의존한다. 사건 메모리는 프레임 단위 동적 정보만 저장하고, 개체 단위로 정리된 움직임 모델은 아니다. 사건 재현 5개 기준 중 2개에서는 1위가 아니었다. 제공된 본문이 중간에 잘려 있어 비용·Ablation 결과는 확인하지 못했다.

의미

여러 샷으로 된 AI 영상 제작에서 같은 장소와 사건을 다시 보여줄 때 생기는 불일치를 줄이는 실용적인 구조다. 생성 결과를 무조건 믿지 않고 검증된 관찰만 상태에 반영하는 설계는 다른 에이전트 시스템의 메모리 관리에도 참고할 만하다.

핵심 용어

월드 상태(World State)

장면 메모리(정적 기하 정보)와 사건 메모리(시간이 색인된 동적 관찰)를 묶은 지속 상태다. 각 샷을 만들기 전에 조회하고, 생성 후 검증을 통과하면 갱신한다.

공간 재방문(Spatial Revisit)

다른 샷들이 지나간 뒤 앞서 나온 장소로 돌아가는 샷을 만드는 작업이다. 기존 장면 배치를 유지하는지 목표 이미지와 비교해 평가한다.

사건 재현(Event Recapture)

앞서 일어난 사건을 새로운 카메라 시점에서 다시 생성하는 작업이다. 행동과 시간 순서가 원래 사건과 같은지 본다.

등록(Registration)

생성된 클립에서 재구성한 3D 정보를 기존 장면 좌표계에 맞춰 정렬하는 단계다. 이 단계에 실패하면 클립은 영상에는 쓸 수 있지만 메모리에는 들어가지 않는다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Weijie Wang, Haomin Zhang, Ye Li, Akide Liu, Zeyu Zhang, Haoyu Zhao, Yefei He, Donny Y. Chen, 외 · 게시 2026-10-14 · 라이선스 CC BY-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.