ECCV 2026 Oral｜从「一句提示词」到「多镜头成片」：MAVIN让AI开始按剧本讲故事

刘恺骐，北京大学博士生，主要研究方向为可控视频生成、音视频联合生成、世界模型、理解生成统一模型及多模态大模型等，相关成果发表于 ECCV、ICCV、CVPR 等国际会议。

多镜头音视频叙事至少面临三类挑战。

首先是时间错位。模型可能知道脚本中有哪些人物和事件，却无法判断它们应该出现在哪个时间段：镜头已经切换，上一名角色的声音仍在继续；人物尚未出现，对白却提前响起。

MAVIN 采用全局、镜头和角色三个层级的结构化脚本，统一描述整体情节与背景音乐，各镜头的起止时间、画面内容与人物动作，对白内容及其时间区间，以及角色的视觉外貌与声音身份。

视频生成模型通常让整段文本影响所有音视频位置。这意味着，模型在生成第一个镜头时，也能读取后续镜头的描述，容易造成后一个人物提前出现、上一段对白串入下一镜等「语义串场」。

MAVIN 可以同时接收角色参考图像和参考音频，并通过专门的音色编码器，从参考语音中提取「是谁在说」，而不是复制参考语音「说了什么」。

面对自由形式的用户输入，MAVIN 还设计了一套轻量级多智能体流水线。

要让模型学会执行镜头、对白与角色约束，训练数据也必须包含完整的叙事结构。然而，现有音视频数据通常只提供整段内容描述，缺少镜头边界、对白时间以及跨镜头的角色信息。

研究团队将 MAVIN 与两类代表性方法进行了比较：一类先生成多镜头视频，再通过视频到音频模型补充声音；另一类则是端到端音视频联合生成模型。

在同一段三镜头雪地对话中，现有方法容易出现角色外貌漂移、镜头顺序错乱或对白与人物对应不准等问题。相比之下，MAVIN 能够更完整地执行镜头切换，并在不同镜头间保持人物身份与场景风格，同时让对白与角色之间的对应更加准确。

在涵盖音视频质量、语义一致性、音画同步与多镜头控制的 13 项指标上，MAVIN 取得最佳结果。其中，镜头切换准确率 STA 达到 0.9897，对白时间对齐指标 TAMS 达到 0.8104，表明模型不仅能够生成连贯的音视频内容，也能更准确地执行脚本中的时间和身份约束。

当镜头边界、对白区间和角色身份被统一建模后，MAVIN 不再只是按照脚本一次性生成成片。创作者可以直接修改时间安排、角色设定和局部叙事条件，由此衍生出多种面向实际创作的应用。下面介绍其中两个具有代表性的应用场景：

MAVIN 关注的不只是如何生成更清晰、更自然的单个镜头，而是让模型开始处理镜头、对白与角色视听身份之间的时空关系。视频生成的控制粒度，也由「画面中生成什么」进一步走向「内容在何时发生、由谁完成，以及如何跨越多个镜头展开」。