现在，，，，天生几秒的单镜头已经不是难事。。。。可是，，，，一旦涉及到天生多镜头长视频，，，，往往就像是在开盲盒：用户写好几百字的剧本，，，，把所有分镜的提醒词一次性喂给大模子，，，，然后苦等半小时。。。。哪怕中心只崩了一个镜头，，，，也只能硬着头皮所有推倒重来，，，，缺乏交互性延迟极高 为了突破多镜头长视频面临的高延迟、零交互逆境，，，，香港中文大学与快手可灵团队联合提出了首个实时流式多镜头长视频天生框架 ——ShotStream。。。。该研究突破了古板双向架构的限制，，，，将多镜头合成界说为基于历史上下文的下一镜头天生使命，，，，用户可以通过动态流式提醒词在运行时动态指导叙事走向！更令人振奋的是，，，，ShotStream 模子在单张 H200 GPU 上实现了 16 FPS 的推理速率，，，，相较于双向模子，，，，将天生效率提升了 25 倍以上，，，，为实时的互动故事创作铺平了蹊径。。。。该事情已被盘算机视觉顶级聚会 ECCV 2026 吸收，，，，其训练、测试代码和模子均已开源。。。。 提出了首个实时流式多镜头长视频天生架构：用户可以在天生历程中通过流式提醒词动态调解正在生长的故事情节，，，，突破了古板双向架构的限制，，，，实现了真正的交互式叙事。。。。设计了一个高效的双缓存影象框架：为了包管多镜头间的一致性，，，，该事情提出了双缓存影象机制。。。。其中，，，，全局缓存 (Global Cache) 包管跨镜头间一致性，，，，局部缓存 (Local Cache) 维持单镜头流通。。。。然而，，，，直接使用双缓存会导致自回归天生中的时序庞杂歧义，，，，模子在流式天生的时间会混淆信息，，，，为相识决这个问题，，，，该事情提出了 RoPE 旋转位置编码残差对双缓存举行区分，，，，在无需引入特殊重大？？榈那樾蜗拢，，，消除了歧义，，，，包管了蒸馏历程的稳固性。。。。提出了一种两阶段自强制（Self-Forcing）蒸馏战略： 为相识决模子在流式生生长视频中的误差累计问题，，，，该事情提出了两阶段自强制（Self-Forcing）蒸馏战略，，，，实现了训推一致，，，，让模子学会在不完善中自我纠偏，，，，有用战胜了多镜头长视频天生的误差累积。。。。 如上图所示，，，，首先将双向文生视频模子微调为一个双向的 “下一镜头” 西席模子，，，，使其具有凭证历史帧天生下一个镜头的能力。。。。别的，，，，为了阻止数百帧的历史镜头导致显存爆炸，，，，作者设计了动态采样战略，，，，提取出希罕的历史上下文帧。。。。随后，，，，通过 Token 拼接机制，，，，将上下文特征与目的噪声送入 DiT 模子。。。。 紧接着，，，，使用漫衍匹配蒸馏（DMD）手艺，，，，缓慢的双向西席模子被蒸馏为一个仅需 4 步去噪的流式因果学生模子，，，，从而实现了 25 倍以上的推理加速和 16FPS 的实时天生。。。。 在多镜头自回归天生中，，，，模子很容易混淆历史画面和目今正在天生的画面。。。。为此，，，，作者巧妙设计了双缓存影象机制：全局缓存认真存储希罕条件帧以维持跨镜头一致性，，，，局部缓存认真存储目今镜头刚天生的帧以维持单镜头内的一致。。。。 思量到同时盘问两个缓存会带来时间维度上的歧义，，，，作者对模子原有的旋转位置编码举行了刷新，，，，提出了不一连 RoPE。。。。即在每次镜头切换的界线处，，，，对时间维度的 RoPE 施加一个离散的相位偏移。。。。这显式地解耦了全局与局部上下文，，，，让模子能够无需引入任何特另外重大网络？？椋，，，精准区别差别缓存，，，，确保了蒸馏历程的稳固性。。。。 自回归生生长视频最大的痛点在于误差累积。。。。为了缓解该问题，，，，作者设计了两阶段自强制蒸馏训练：第一阶段，，，，在单镜头内使用真实的 Ground-Truth 历史画面举行训练，，，，让模子具有基础的下一个镜头天生能力；；；；第二阶段，，，，跨镜头使用模子自己天生的历史画面作为条件举行训练。。。。两阶段训练战略解决了训练与推理之间的差别，，，，欺压模子学会在自己的不完善中举行纠偏，，，，大幅提升了多镜头长视频的画质稳固性和连贯性。。。。 ShotStream 在跨镜头一致性、镜头切换控制、文本对齐度等各项多镜头长视频焦点指标上，，，，均显著优于或比肩 Mask2DiT、CineTrans 等现有双向模子，，，，以及 LongLive 等自回归模子。。。。同时，，，，实现了 16FPS 的实时天生。。。。 ShotStream 作为首个多镜头长视频天生模子，，，，其立异的双缓存影象机制及两阶段蒸馏要领，，，，以及单卡 16FPS 的卓越性能体现，，，，验证了实时流式多镜头长视频天生模子的重大潜力。。。。同时，，，，其模子与训练、测试代码的开源也将为社区的相关研究提供强有力的支持，，，，有望推动 AIGC 视频创作进入一个交互更实时、叙事更自由的新阶段！