论文解读 · 2026年10月7日
Kandinsky 6.0 Video：同步生成视频与音频的基础模型
Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
用双向交叉注意力连接预训练的视频流与新训练的音频流，构建了一个能同时生成口型同步的5秒视频和44kHz音频的开放模型。
问题
要用文本生成有声视频，视频与音频需在语义、时间和情感上相互匹配，因此比只生成其中一种困难得多。Veo 3.1、Sora 2等商用系统性能出色，但代码未公开。开源模型在片段长度、分辨率和同步精度上仍然落后。
方法
将Kandinsky 5.0的CrossDiT扩展为双流结构。视频流与音频流在每个块中通过双向交叉注意力（V2A、A2V）相连。模型有Lite（3B）和Pro（29B）两种。Pro由视频19B、音频5B、交叉注意力5B组成。训练按以下顺序进行。① 用4000万条音频轨从头训练音频流 ② 用700万段视频-音频配对数据联合训练两个流 ③ 用model soup合并各领域SFT结果 ④ 基于OmniNFT的强化学习 ⑤ 通过π-Flow和对抗精炼分两阶段蒸馏，将函数评估次数降至10次。输出通过单独的K-VAE潜空间超分辨率模型放大至Full-HD。
结果
- 作者报告，在人工并排比较两个结果的评估中，Pro模型明显优于上一版本Kandinsky 5.0 Video Pro。
- 作者报告，在VABench的大多数指标上高于开源的LTX 2.5。具体数值不在所提供的正文范围内。
- 作者声称，与商用音视频生成模型相比具有竞争力，尤其在语音质量方面有优势。
- 支持T2AV和I2AV两种模式。以MIT许可证公开了代码、检查点和diffusers集成。
局限
生成长度限于5秒片段。默认输出为SD分辨率，Full-HD需通过单独的超分辨率模型获得。所提供的正文几乎没有定量评估数值，主要比较依赖人工并排比较评估，难以进行客观的数值比较。数据中包含俄罗斯文化数据集，且字幕以俄语和英语为主，在其他语言上的性能尚未得到确认。
意义
在包含口型同步的视频-音频联合生成模型中，以MIT许可证公开了29B级大模型。先单独训练音频流、再接入现有视频模型的方式，是希望为已有视频模型添加声音的团队可以参考的实用方法。
关键术语
- 双流CrossDiT
- 用交叉注意力连接分别处理视频和音频的两个扩散Transformer的结构。两种模态相互参照，实现同步。
- 双向交叉注意力
- 视频token参照音频（V2A）、音频token参照视频（A2V）的注意力。起到实现时间与语义对齐的作用。
- T2AV / I2AV
- 从文本同时生成视频和音频的模式（T2AV），以及以起始图像为条件生成视频和音频的模式（I2AV）。
- 蒸馏（Distillation）
- 将需要大量采样步数的模型压缩为用较少步数即可得到相似结果的模型的技术。可提高生成速度。
原文
作者: Team Kandinsky, Julia Agafonova, Bulat Akhmatov, Mikhail Aksyutin, Grigorii Alekseenko, Anastasia Aliaskina, Olga Androsova, Vladimir Arkhipkin, 等 · 发布 2026-10-04 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。