← 주요 논문

논문 리뷰 · 2026년 11월 21일

Coda-DaVinci: 코드로 만든 3D 프록시로 영상 생성을 이끄는 Code2Video 재설계

Coda-DaVinci: Reimagining Video Generation with Code2Video

생성형 미디어에이전트 중급 추천 32 cs.CV KlingAI Research

3D 프록시의 세밀도, 물리 시뮬레이션, 프롬프트 방식을 통제 실험으로 비교하고, 그 결과로 과제에 맞춰 경로를 고르는 에이전트 프레임워크를 만들어 지시 따르기와 장면 일관성을 높였다.

문제

Code2Video는 코딩 에이전트가 만든 3D 프록시 영상으로 영상 생성 모델을 이끄는 방식이다. 하지만 프록시를 얼마나 세밀하게 만들지, 물리 시뮬레이션을 쓸지, 프롬프트를 어떻게 쓸지에 대한 근거가 부족했다. 이 패러다임이 어떤 과제에서 유리하고 어디서 불리한지도 정리되지 않았다.

방법

먼저 WorldMemBench(장면 재방문), VGIF-Bench(복잡한 동작 지시), Principia(물리 현상) 세 벤치마크에서 블라인드 전문가 평가(0~3점)를 했다. 비교한 설계 요소는 프록시 세밀도(G0 거침/G1 중간/G2 세밀), 물리 시뮬레이션 유무(P0/P1), 프롬프트 강화 방식(PE0 없음/PE1 외부 모델/PE2 코딩 에이전트가 프록시에 맞춰 작성)이다. 그 결과를 바탕으로 Coda-DaVinci를 설계했다. 정밀한 장면 제어가 필요하면 3D 모델링 경로를, 자연스러운 신체 동작이 중요하면 직접 생성 경로를 고른다. 환경과 구조물은 중간 세밀도, 사람은 거친 프록시로 만들고, 지원되는 상호작용에는 Blender 물리 시뮬레이션을 쓴다. 멀티 에이전트 하네스는 장면 자산을 수정 사이에 보존하고, 시각 점검과 독립 검수 에이전트로 수정 방향을 잡는다.

결과

한계

저자들은 긴 영상에서 장면 전환 안정성과 설정 준수가 직접 이어 생성하는 방식보다 낮았다고 밝혔다. 복잡한 사람·물체 동작에서는 프록시 방식이 여전히 자연스러움과 사실감에서 불리하다. 분석은 벤치마크당 약 30개 안팎 샘플의 인간 평가에 기반하고, 생성 모델은 Seedance 2.5 중심이다. 본문이 방법 설명 중간에서 끊겨 최종 비교의 세부 수치는 확인하지 못했다.

의미

코딩 에이전트는 장면 구조와 물리를, 영상 모델은 외관과 세밀한 동작을 맡기는 역할 분담 원칙을 실험으로 정리했다. 제어 가능한 영상 생성 파이프라인을 설계할 때 실용적인 가이드가 된다.

핵심 용어

Code2Video
에이전트가 코드로 3D 장면(프록시)을 만들고 렌더링한 뒤, 그 영상을 조건으로 영상 생성 모델이 최종 영상을 만드는 방식이다.
프록시 세밀도(Proxy granularity)
3D 프록시의 형상과 동작을 얼마나 자세히 모델링하는지를 말한다. 너무 세밀하면 경직된 동작이 최종 영상에 그대로 옮겨질 수 있다.
프록시 정렬 프롬프트(PE2)
코딩 에이전트가 렌더링된 프록시를 보고 객체-색 대응과 외관 세부를 생성 프롬프트에 명시하는 방식이다.

원문

저자: Yiyan Ji, Qixun Wang, Yang Shi, Zhuoran Zhang, Yifan Xu, Tengfei Liu, Yuqi Tang, Xiaohan Zhang, 외 · 게시 2026-11-19 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.