StreamEval：实时交互式流式视频生成模型评测基准

问题

流式视频生成需要响应会话过程中到来的用户请求。然而，现有基准只单独考察画质或特定领域（世界、编辑、对话）。此前缺少一个能跨多项任务、统一评估模型能否及时执行请求同时保持先前状态的标准。

方法

构建了数字人对话、虚拟形象表演、世界生成、指令编辑、参考图像编辑共5项任务。每项任务60个、共300个测试用例，均匀分配到15、30、60、120、300秒五种时长。每个用例包含初始素材、按时间顺序依次到达的多模态请求，以及关于需要改变什么、需要保持什么的明确标准。评测涵盖任务执行、状态一致性、视觉质量、音视频同步4个维度，共10项指标（0~100分）。大多数由LLM、VLM评审打分，评审按误报、漏报容许标准进行了校准。

结果

• 作者评测了37个模型（47种任务配置），报告称即使视觉质量和身份保持较高，也不能保证请求执行或状态一致性。
• 请求执行得分尤其低。虚拟形象表演的Following最高分为36.90（7个模型中），文本条件世界生成的Following最高分为25.93。
• 参考图像编辑的Edit Success最高分为15.00（在报告了结果的3个模型中）。
• 按Overall排名，虚拟形象表演第一为Vidu S2 Avatar，世界生成第一为MemFlow，两项编辑任务第一为Vidu S2 Editing。按指标看，LiveTalk在Quality上最高，JoyAI-Video-Edit在Preservation上最高。

局限

打分在很大程度上依赖Qwen系列LLM、VLM评审。相当一部分测试用例和媒体也是用同系列模型（Qwen3.8-Max、Qwen-Image等）生成的。编辑结果表中只收录了评测后Overall达到5分以上的配置，因此编辑模型的比较范围较窄。仅提供固定虚拟形象的系统以自身首帧为基准评估Identity，与其他模型条件不同。A–V Sync对帧进行稀疏采样，时间分辨率有限。

意义

在构建对话式虚拟形象、交互式世界、直播编辑等实时视频服务时，它用数据表明“好看的视频”与“按请求行动的视频”是两回事。可作为选择模型时需要核查哪些方面的依据。

关键术语

流式视频生成

不一次性生成整段视频，而是一点一点接续生成的方式。在生成过程中也可以接收并反映新的输入。

状态一致性（State Consistency）

在响应新请求的同时，持续保持先前编辑结果、人物身份、场景内容等应保留内容的能力。

Oracle（Oracle）

预先写明每个检查点应出现、保持、撤销或恢复哪些内容的标准答案规范。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: StreamEval Team · 发布 2026-10-20 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。