这项由新加坡国立大学电子与盘算机工程系与英伟达研究院联合完成的研究，，，，，，揭晓于2026年第43届国际机械学习聚会（ICML 2026），，，，，，所在在韩国首尔，，，，，，收录于PMLR第306卷。。对原论文感兴趣的读者可通过论文编号arXiv:2607.03509查阅完整内容。。 拍过影戏的人都知道，，，，，，导演面临一个永恒的两难选择：要么花大宗时间全心妄想每一。。，，，，，确保整部影片的连贯性和美感；；要么快速拍摄，，，，，，让演员即兴施展，，，，，，虽然效率高，，，，，，但有时前后剧情会泛起矛盾，，，，，，人物行为也会前后纷歧致。。人工智能天生视频的天下里，，，，，，同样保存这个逆境，，，，，，并且这个逆境在已往几年一直没有获得根天性的解决。。 现有的视频天生系统大致分为两种蹊径。。第一种叫做"双向扩散模子"，，，，，，它的事情方式就像一位极为审慎的导演：在天生任何一帧画面之前，，，，，，它会同时"看"这段视频的所有。。，，，，，前面的、后面的全都纳入考量，，，，，，然后再统一天生。。这种方式就像先把整个剧本写好，，，，，，再一次性拍摄，，，，，，利益是整体连贯性极强，，，，，，画面质量也很是高；；坏处是盘算量重大，，，，，，速率极慢，，，，，，天生一段视频往往需要很长时间，，，，，，并且很难扩展到更长的视频。。 第二种叫做"自回归模子"，，，，，，它的事情方式更像一位即兴演员：只看之前爆发过的内容，，，，，，不管后续怎样，，，，，，一帧接一帧往后天生。。这种方式速率很快，，，，，，自然支持恣意长度的视频天生，，，，，，还能使用一种叫做"KV缓存"的手艺阻止重复盘算。。然而问题在于，，，，，，这种即兴式的天生方式容易积累过失——就像一个人语言说着说着忘了最最先说的是什么，，，，，，导致视频里的人物外貌、场景或行动前后纷歧致，，，，，，长视频里更容易泛起显着的"漂移"征象。。 正因云云，，，，，，研究团队在这里提出了一个焦点问题：这两种截然差别的天生方式，，，，，，能否在统一个模子里同时保存，，，，，，并且在需要时无邪切换？？？？ 这项研究的焦点效果叫做Flex-Forcing，，，，，，直译过来是"无邪强制"，，，，，，但更贴切的明确是"弹性分块天生框架"。。它的焦点思绪可以用一个拍摄电视剧的比喻来明确。。 古板的双向模子就像把整季剧（好比21集）一次性拍完，，，，，，所有演员同时在。。，，，，，导演对整体掌握极好，，，，，，但本钱极高，，，，，，时间极长。。古板的自回归模子则像每次只拍一集，，，，，，拍完第一集才华拍第二集，，，，，，速率很快，，，，，，但有时间第十集的演员忘了第一集里爆发了什么。。Flex-Forcing的方案是：把整季剧分成若干"拍摄组"，，，，，，每组内部的几集可以同时拍摄（双向模式），，，，，，但差别拍摄组之间按顺序举行（自回归模式）。。这样既保存了组内的整体协调性，，，，，，又大幅提升了整体拍摄效率。。 在手艺上，，，，，，这个"拍摄组"就是所谓的"块（Chunk）"。。研究团队将一段视频的所有帧准时间顺序分成若干一连的块，，，，，，每个块内部的帧使用双向注重力机制相互参考，，，，，，而差别块之间则凭证时间顺序，，，，，，后面的块只能参考前面块已经天生好的内容。。通过调解块的大。。，，，，，就能在两个极端之间平滑移动：当每个块只有一帧时，，，，，，就完全等价于自回归模式；；当整段视频只有一个块时，，，，，，就完全等价于双向模式。。这个精练的设计让统一个模子在推理（天生）时能够凭证现实需求自由设置。。 这个无邪分块的设计沿着两个维度同时睁开，，，，，，就像一张坐标系上的横轴和纵轴：一个维度是"时间帧轴"，，，，，，决议视频中哪些帧被分在统一个块里；；另一个维度是"去噪方法轴"，，，，，，决议在差别的去噪阶段使用差别的块划分方式。。把这两个维度连系起来，，，，，，就形成了一个极为富厚的设置空间。。 明确去噪方法上的分块需要先相识扩散模子的基本事情原理。。扩散模子天生图像或视频的历程，，，，，，就像是把一张完全是噪点的图片一步步"擦清洁"，，，，，，最终露出清晰的画面。。这个"擦清洁"的历程会举行许多步（好比50步），，，，，，早期的方法决议大的结构和整体结构，，，，，，晚期的方法认真细节的精修。。 研究团队发明了一个很有原理的纪律：在早期去噪方法（噪点多、不确定性高），，，，，，视频需要做"全局妄想"，，，，，，此时使用更大的块（甚至整段视频作为一个块）更合适，，，，，，由于需要让模子同时"看"到所有。。，，，，，确定整体的场景、光线和运动偏向；；而在晚期去噪方法（画面已经基本成形），，，，，，只需要精修局部细节，，，，，，此时使用更小的块即可，，，，，，反而能提升效率。。 这就形成了一个从"粗到细"的金字塔结构：最最先是大块（宽松的双向视角），，，，，，随着去噪举行，，，，，，块越来越。。ㄖ鸾ハ蜃曰毓槟Ｊ焦桑，，，，，最终在最后几步用细粒度的小块完成精修。。研究团队还在手艺上设计了一种"嵌套破碎"机制——上一步中的一个大块，，，，，，可以在下一步中被"切分"成若干小块，，，，，，同时保存所有原有的界线点。。这种嵌套设计包管了每个方法的设置都可以由上一方法演变而来，，，，，，结构很是清晰。。 在现实执行时，，，，，，这个金字塔结构带来了一个有趣的工程挑战：若是上一步中某几帧是作为一个大块一起处理的，，，，，，而下一步需要把它们拆成小块划分处理，，，，，，那么后面的小块必需等前面的小块先处理完才行，，，，，，由于它们需要参考前面块天生的中心效果。。研究团队为此设计了一个暂时缓冲机制：先把大块阶段的效果缓存起来，，，，，，等拆分后的小块按顺序逐一处理完后再继续推进。。这个细节虽然听起来只是工程技巧，，，，，，却对包管整个系统的准确性至关主要。。 把双向和自回归两种模式合并在一个模子里，，，，，，会爆发一个此前从未被认真看待的问题：在统一个注重力层里，，，，，，统一个"盘问"（可以明确为模子目今正在思索的内容）需要同时参考两类"键值对"（可以明确为参考资料）——一类是已经天生清洁的前面。。ㄔ肷苌伲，，，，，另一类是还处于高噪声状态的后续帧。。这两类参考资料所处的"信噪比"差别极大，，，，，，就像你让一个学生同时参考一本印刷细腻的教科书和一张已经被雨淋湿、字迹模糊的手稿，，，，，，模子处理起来会非；Ｔ勇。。 为相识决这个问题，，，，，，研究团队提出了一个叫做"K-Projection"（键值投影）的机制。。详细来说，，，，，，它是一个轻量级的线性变换层，，，，，，能够将那些来自清洁帧的"键"向量，，，，，，凭证目今往噪方法的噪声水平举行动态调解，，，，，，让它们看起来就像是在一律噪声条件下爆发的，，，，，，从而消除噪声级别不匹配的问题。。这个投影层在初始化时被设置成"恒等映射"（即什么都不改变），，，，，，然后在训练中逐渐学会怎样举行合适的对齐。。 这个机制的一个工程优点是：它只在盘算注重力时暂时应用，，，，，，不需要修改已经缓存的键值对自己。。以是已经存好的缓存数据不必重新盘算，，，，，，只是在读取时动态调解一下，，，，，，效率完全不受影响。。实验效果显示，，，，，，这个看似简朴的小改动对整体性能的提升很是显著，，，，，，尤其是在块尺寸较大、靠近完全双向模式时，，，，，，缺少K-Projection会导致性能显着下降，，，，，，加入后则坚持稳固甚至一连提升。。 一个能无邪切换两种模式的模子，，，，，，在训练时自然也需要履历两种模式的混淆。。研究团队接纳了一种被称为"随机分块战略"的训练方式Ｔ媚课训练时，，，，，，随机地从2到10这个规模内选择块的大。。，，，，，并把这种随机设置应用于整个视频的天生历程。。这样，，，，，，模子在训练历程中就会看到种种各样的注重力模式——有时间是严酷的逐帧自回归，，，，，，有时间是大块的双向注重力，，，，，，有时间是介于两者之间的混淆形式。。 这个训练战略的出发点很是自然：若是你希望模子在测试时能无邪应对种种块设置，，，，，，那就在训练时让它见识种种设置。。就像培训一名演员，，，，，，不但让他训练牢靠台词，，，，，，而是让他在州差别场景下重复排演，，，，，，最终才华在正式演出时从容应对任何转变。。 整个训练流程沿用了前人事情中成熟的两阶段流程。。第一阶段叫做"ODE初始化"，，，，，，通过在原本双向的视频扩散模子上添加因果注重力掩码（让每帧只能看到之前的。。，，，，，把双向模子逐程序整成具备因果性的模子。。第二阶段叫做"非对称蒸馏"，，，，，，这里引入了随机分块战略，，，，，，并连系一种叫做"VSD损失"的训练目的，，，，，，把需要许多步才华完成的扩散历程压缩成只需几步，，，，，，从而大幅提升推理速率。。 研究团队在5秒钟视频的天生使命上举行了详细的搜索实验，，，，，，穷举了所有将21个潜在帧分成3个块的可能方式，，，，，，并逐一测试了它们的速率（每秒帧数FPS）和质量（VBench评分）。。效果泛起出几个很是清晰的纪律。。 第一个纪律是：匀称分块并不是最优选择。。把视频平均分成三份（7-7-7）的效果，，，，，，显着不如某些非匀称分法。。这说明对视频的明确是差池称的——视频的前段往往包括更多需要建设全局上下文的信息，，，，，，此后段更多是在前段基础上的延伸。。 第二个纪律是：把大块放在前面、小块放在后面，，，，，，效果最好。。好比"15-3-3"这种设置（前15帧作为一个大块，，，，，，后面各3帧划分作为一个小块），，，，，，在VBench上取得了所有设置中最高的得分85.07，，，，，，甚至比完全匀称分块的方案横跨了整整0.44分。。在某些情形下，，，，，，这种前大后小的设置甚至能逾越完全双向推理的效果。。 第三个纪律是：NFE（天生所需的函数评估次数，，，，，，可以明确为去噪步数）与速率直接相关。。使用3步去噪的Flex-Forcing（好比"12-6-3"设置）每秒能天生45.6。。，，，，，而使用5步去噪的设置则是25.8帧。。即即是3步版本，，，，，，质量评分也抵达了84.29，，，，，，仍然凌驾了Self-Forcing基线的5步版本（83.89或84.31，，，，，，取决于测试版本）。。 在与竞争敌手的正面临比上，，，，，，Flex-Forcing的体现很是突出。。与最主要的竞争敌手Self-Forcing相比，，，，，，在相同速率（FPS=24.9）下，，，，，，Flex-Forcing的VBench总分横跨了约1.2分（85.07 vs 83.89），，，，，，同时在"Quality"这个维度上的提升尤为显着（86.33 vs 84.45）。。即便与更新的Self-Forcing++版内情比，，，，，，差别依然显著。。 与那些专门为少步推理优化的"蒸馏"模子（如DMD-v、rCM等）相比，，，，，，Flex-Forcing在4步模式下取得了85.13的总分，，，，，，凌驾了所有同类要领；；在2步模式下取得了84.20，，，，，，同样具有竞争力。。这说明Flex-Forcing作为一个统一框架，，，，，，在双向模式下的体现也不弱于专门为此优化的要领。。 研究团队还在30秒长视频的天生使命上举行了评测，，，，，，使用VBench-Long这个专门为长视频设计的评测基准。。在这个测试中，，，，，，Flex-Forcing以每秒24.96帧的速率运行，，，，，，相比敌手Infinity-RoPE（19.1帧/秒）快了约30%。。 质量方面，，，，，，Flex-Forcing在大部分指标上逾越了Infinity-RoPE，，，，，，最显著的刷新来自"动态水平"这个维度——Flex-Forcing抵达了71.27分，，，，，，而Infinity-RoPE只有50.26分，，，，，，提升幅度高达21个百分点。。这个差别说明Flex-Forcing天生的长视频运动更富厚、更多样化，，，，，，而敌手的模子往往容易天生重复性的运动，，，，，，导致视频看起来枯燥。。在整体质量评分上，，，，，，Flex-Forcing抵达84.01，，，，，，同样优于Infinity-RoPE的82.84。。 用户偏好研究也印证了这一点：在5秒视频中，，，，，，55.4%的用户在视觉质量维度上更偏好Flex-Forcing；；在30秒视频中，，，，，，这个比例进一步上升到53.9%。。两个测试场景中，，，，，，Flex-Forcing均获得了过半数的用户青睐。。 Flex-Forcing带来的不但是更快更好的视频天生，，，，，，还解锁了一类此前很难实现的视频编辑功效。。由于该框架支持在去噪历程的恣意方法上切换注重力模式，，，，，，研究团队生长出了两种新颖的编辑方式。。 第一种叫做"恣意时间步编辑"。。古板的自回归编辑要领面临一个棘手问题：一旦你在某一帧上做了改动（好比改变某人的心情），，，，，，这个改动会像涟漪一样扩散到后续所有。。，，，，，由于每一帧都依赖于前面的帧。。Flex-Forcing提出的解决方案是：把去噪历程的前几步（认真全局结构的方法）坚持稳固，，，，，，只在后面几步（认真细节精修的方法）中引入编辑指令。。这样就把"全局妄想"和"局部调解"解耦开来，，，，，，改动只影响细节而不破损整体结构。。实验展示了一个详细案例：在一段人物视频中，，，，，，从第6帧最先修改条件（让人物张嘴大笑），，，，，，只在最后三步（共四步）中应用这个修改，，，，，，效果整段视频的一致性获得了很好的保存，，，，，，而比照组的Self-Forcing则由于这个局部修改导致整段视频泛起了大幅度的转变。。 第二种叫做"恣意顺序编辑"。。在双向注重力的加持下，，，，，，Flex-Forcing可以同时参考一个时间段前面和后面的内容。。这意味着你可以在视频完整天生之后，，，，，，挑选中心某一段重新编辑，，，，，，而不需要重新重新天生整个视频。。好比，，，，，，在一段81帧的视频已经天生完毕之后，，，，，，你决议把第26到49帧之间的场景换成"一只猫跑已往"，，，，，，系统可以在同时参考第1到25帧和第50到81帧内容的情形下，，，，，，重新天生这一段，，，，，，使得前后衔接越发自然。。实验效果显示，，，，，，Flex-Forcing在帧49和帧50之间的过渡（编辑段与未编辑段的界线处）比Self-Forcing越发流通，，，，，，说明双向上下文的参考对坚持一致性有实质性资助。。 研究团队在论文中坦诚地列出了这套要领现在的几个局限。。首先，，，，，，虽然Flex-Forcing放宽了严酷的从左到右因果约束，，，，，，但训练与推理之间的不匹配问题并没有被彻底解决，，，，，，在超长视频的天生中仍然会泛起误差累积。。其次，，，，，，Flex-Forcing的能力很洪流平上依赖于基础模子预训练时积累的双向编码能力，，，，，，若是迁徙到那些预训练能力较弱的模子上，，，，，，效果可能会打折扣。。虽然，，，，，，和所有视频天生模子一样，，，，，，这套手艺若是没有适当的使用规范，，，，，，也保存被滥用的风险。。 说究竟，，，，，，Flex-Forcing代表了一种思绪上的转变：视频天生的双向模式和自回归模式，，，，，，不应该被视为两条互不相容的蹊径，，，，，，而应该被视为一个一连谱系上的两个极端点。。通过无邪分块这个精练的设计，，，，，，任何一其中心点都可以凭证需要自由选择，，，，，，在质量与效率之间找到最适合目今使命的平衡。。 这对通俗人意味着什么？？？？随着这类手艺的逐步成熟，，，，，，未来的视频创作工具可能会变得越发"智慧"——当你的装备性能有限时，，，，，，它自动切换到快速但仍然足够好的模式；；当你需要极致品质时，，，，，，它切换到细腻但稍慢的模式；；当你只想修改视频中心某一段时，，，，，，它能在不动其余部分的情形下精准完成编辑。。这种无邪性，，，，，，或许就是视频天外行艺走向真正适用化的要害一步。。 对这项研究感兴趣的读者，，，，，，可以通过arXiv编号2607.03509找到完整论文，，，，，，该效果已被2026年第43届国际机械学习聚会（ICML 2026）收录，，，，，，完整版本包括了大宗定性较量视频和详细的消融实验，，，，，，值得深入阅读。。 A：Flex-Forcing的要害在于"无邪分块"设计——把视频准时间分成若干块，，，，，，每个块内部用双向注重力包管质量，，，，，，块之间按顺序天生包管效率。。通过把大块放在前面、小块放在后面，，，，，，既让视频整体结构有全局妄想，，，，，，又镌汰了冗余盘算。。实验显示，，，，，，接纳"15-3-3"这种前大后小设置，，，，，，在速率与基线持平的情形下，，，，，，质量评分可以提高约1.2分。。 A：在混淆天生模式下，，，，，，统一个注重力层需要同时处理已经"清洁"的前序帧和还处于"高噪声"状态的后续。。，，，，，两者的信噪比差别极大，，，，，，会导致模子杂乱。。K-Projection是一个轻量级的动态变换，，，，，，能把清洁帧的参考信息凭证目今噪声水平举行调解，，，，，，使所有参考资料处于统一"噪声语境"下，，，，，，消除不匹配问题，，，，，，且不影响缓存效率。。 A：通俗编辑软件只能做剪切、拼接等操作，，，，，，无法明确视频内容的连贯性。。Flex-Forcing的编辑功效是"内容感知"的：它可以在修改中心某段视频时，，，，，，同时参考前后段落的内容，，，，，，确保编辑效果与前后自然衔接；；还可以只修改去噪历程的细节方法而保存全局结构，，，，，，让局部改动不会影响整体气概。。这类编辑能力在古板自回归模子中是很难实现的。。