논문 리뷰 · 2026년 11월 21일
Coda-DaVinci: 코드로 만든 3D 프록시로 영상 생성을 이끄는 Code2Video 재설계
Coda-DaVinci: Reimagining Video Generation with Code2Video
3D 프록시의 세밀도, 물리 시뮬레이션, 프롬프트 방식을 통제 실험으로 비교하고, 그 결과로 과제에 맞춰 경로를 고르는 에이전트 프레임워크를 만들어 지시 따르기와 장면 일관성을 높였다.
문제
Code2Video는 코딩 에이전트가 만든 3D 프록시 영상으로 영상 생성 모델을 이끄는 방식이다. 하지만 프록시를 얼마나 세밀하게 만들지, 물리 시뮬레이션을 쓸지, 프롬프트를 어떻게 쓸지에 대한 근거가 부족했다. 이 패러다임이 어떤 과제에서 유리하고 어디서 불리한지도 정리되지 않았다.
방법
먼저 WorldMemBench(장면 재방문), VGIF-Bench(복잡한 동작 지시), Principia(물리 현상) 세 벤치마크에서 블라인드 전문가 평가(0~3점)를 했다. 비교한 설계 요소는 프록시 세밀도(G0 거침/G1 중간/G2 세밀), 물리 시뮬레이션 유무(P0/P1), 프롬프트 강화 방식(PE0 없음/PE1 외부 모델/PE2 코딩 에이전트가 프록시에 맞춰 작성)이다. 그 결과를 바탕으로 Coda-DaVinci를 설계했다. 정밀한 장면 제어가 필요하면 3D 모델링 경로를, 자연스러운 신체 동작이 중요하면 직접 생성 경로를 고른다. 환경과 구조물은 중간 세밀도, 사람은 거친 프록시로 만들고, 지원되는 상호작용에는 Blender 물리 시뮬레이션을 쓴다. 멀티 에이전트 하네스는 장면 자산을 수정 사이에 보존하고, 시각 점검과 독립 검수 에이전트로 수정 방향을 잡는다.
결과
- 세 벤치마크 합산 기준으로 G1/P1/PE2 구성이 가장 높았다. 일관성 2.926, 지시 따르기 2.968, 물리 타당성 2.436으로, 직접 생성(Seedance 2.5: 2.404/1.819/2.234)보다 모두 높았다.
- 동작이 많은 VGIF-Bench에서는 모든 프록시 구성이 지시 따르기는 개선했지만, 물리 타당성과 자연스러움은 직접 생성보다 낮았다. 이 벤치마크에서는 거친 프록시(G0)가 세밀한 프록시보다 자연스러웠다.
- G1 고정 시 에이전트 작성 프롬프트(PE2)는 외부 모델 강화(PE1)보다 네 지표 평균이 모두 높았다(P1에서 평균 +0.255).
- 저자들은 Coda-DaVinci가 VTR에서 지시 따르기, R2M에서 장면 일관성 1위였다고 보고했다. Blender는 Three.js보다 품질이 높지만 토큰 비용이 더 들었다고 밝혔다.
한계
저자들은 긴 영상에서 장면 전환 안정성과 설정 준수가 직접 이어 생성하는 방식보다 낮았다고 밝혔다. 복잡한 사람·물체 동작에서는 프록시 방식이 여전히 자연스러움과 사실감에서 불리하다. 분석은 벤치마크당 약 30개 안팎 샘플의 인간 평가에 기반하고, 생성 모델은 Seedance 2.5 중심이다. 본문이 방법 설명 중간에서 끊겨 최종 비교의 세부 수치는 확인하지 못했다.
의미
코딩 에이전트는 장면 구조와 물리를, 영상 모델은 외관과 세밀한 동작을 맡기는 역할 분담 원칙을 실험으로 정리했다. 제어 가능한 영상 생성 파이프라인을 설계할 때 실용적인 가이드가 된다.
핵심 용어
- Code2Video
- 에이전트가 코드로 3D 장면(프록시)을 만들고 렌더링한 뒤, 그 영상을 조건으로 영상 생성 모델이 최종 영상을 만드는 방식이다.
- 프록시 세밀도(Proxy granularity)
- 3D 프록시의 형상과 동작을 얼마나 자세히 모델링하는지를 말한다. 너무 세밀하면 경직된 동작이 최종 영상에 그대로 옮겨질 수 있다.
- 프록시 정렬 프롬프트(PE2)
- 코딩 에이전트가 렌더링된 프록시를 보고 객체-색 대응과 외관 세부를 생성 프롬프트에 명시하는 방식이다.
원문
저자: Yiyan Ji, Qixun Wang, Yang Shi, Zhuoran Zhang, Yifan Xu, Tengfei Liu, Yuqi Tang, Xiaohan Zhang, 외 · 게시 2026-11-19 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.