因果的強制: 高品質リアルタイム対話型ビデオ生成のための正しい自己回帰拡散蒸留

要旨

リアルタイム対話型ビデオ生成を実現するため、現在の手法では事前学習された双方向ビデオ拡散モデルを数ステップの自己回帰（AR）モデルに蒸留しているが、完全注意機構が因果的注意機構に置き換えられる際にアーキテクチャの隔たりが生じる。しかし既存手法はこの隔たりを理論的に埋めていない。これらはODE蒸留によってAR学生モデルを初期化するが、これはフレームレベルの単射性（各ノイジーフレームがAR教師モデルのPF-ODE下で一意のクリーンフレームに写像されること）を必要とする。双方向教師モデルからAR学生モデルを蒸留するとこの条件が満たされず、教師モデルのフローマップを回復できなくなり、代わりに条件付き期待値解が導かれて性能劣化を招く。この問題を解決するため、我々はODE初期化にAR教師モデルを用いるCausal Forcingを提案し、アーキテクチャの隔たりを埋める。実験結果では、本手法が全指標で既存手法を上回り、Dynamic DegreeでSOTA手法Self Forcingより19.3%、VisionRewardで8.7%、Instruction Followingで16.7%優れることを示す。プロジェクトページとコード：https://thu-ml.github.io/CausalForcing.github.io/

English

To achieve real-time interactive video generation, current methods distill pretrained bidirectional video diffusion models into few-step autoregressive (AR) models, facing an architectural gap when full attention is replaced by causal attention. However, existing approaches do not bridge this gap theoretically. They initialize the AR student via ODE distillation, which requires frame-level injectivity, where each noisy frame must map to a unique clean frame under the PF-ODE of an AR teacher. Distilling an AR student from a bidirectional teacher violates this condition, preventing recovery of the teacher's flow map and instead inducing a conditional-expectation solution, which degrades performance. To address this issue, we propose Causal Forcing that uses an AR teacher for ODE initialization, thereby bridging the architectural gap. Empirical results show that our method outperforms all baselines across all metrics, surpassing the SOTA Self Forcing by 19.3\% in Dynamic Degree, 8.7\% in VisionReward, and 16.7\% in Instruction Following. Project page and the code: https://thu-ml.github.io/CausalForcing.github.io/{https://thu-ml.github.io/CausalForcing.github.io/}

因果的強制: 高品質リアルタイム対話型ビデオ生成のための正しい自己回帰拡散蒸留

Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation

要旨

Support