自己勾配強制：長編動画のネイティブ外挿

要旨

近年の自己回帰型ビデオ拡散手法は、Self Forcing（セルフフォーシング）に基づくものが増えている。これは、学習時に正解ビデオコンテキストではなく、モデル自身のロールアウトによって生成された履歴を用いて学習を行う手法である。これにより露出バイアスは低減されるが、過去のキー・バリューキャッシュは依然として将来のフレームに対して凍結されたロールアウト状態としてのみ利用される。その結果、将来の損失が、より有用なキー・バリューとして潜在変数を過去のコンテキストに書き込む方法を、早期に生成された潜在変数に対して教師することができない。我々はこの問題を「過去のコンテキスト勾配ギャップ」と呼ぶ。本論文では、この欠落した教師信号を、完全な逐次ロールアウトを通じた逆伝播なしに回復する2パス学習戦略であるSelf Gradient Forcing（SGF）を提案する。パス1では、勾配なしの自己回帰ロールアウトを推論と同様に実行し、サンプリングされたノイズ除去終了ステップにおいて、自己生成コンテキストとモデルに入力されたノイズ付き潜在変数の両方を記録する。パス2では、記録された終了ステップに対して並列にコンテキスト勾配再構成を行う。生成されたコンテキストは勾配停止されたクリーン潜在入力として使用され、モデルはコンテキストのKV表現と未来からコンテキストへの因果的注意を再計算する。これによりSGFは、本来の自己回帰学習目的関数内で欠落していたメモリ書き込みの教師信号を提供し、将来のビデオ潜在変数に対する損失を用いて、モデルがコンテキストをより効果的な因果的メモリに符号化するよう学習させる。さまざまな初期化条件下での大規模な長期的フレーム単位およびチャンク単位の実験を通じて、SGFはSelf Forcingよりも強力なネイティブな長ビデオ外挿を達成し、特に被写体の同一性、背景・レイアウトの一貫性、時間的安定性において優れている。注目すべきことに、わずか5秒の学習ウィンドウのみで、SGFは数分間のビデオへの外挿が可能である。コードとモデルは公開予定であり、自己回帰型ビデオ生成の研究を前進させる。

English

Recent autoregressive video diffusion methods are increasingly built upon Self Forcing, where the student is trained on histories produced by its own rollout rather than ground-truth video contexts. This reduces exposure bias, but the historical key-value cache is still used by future frames only as frozen rollout state. As a result, future losses cannot supervise how earlier generated latents should be written into more useful keys and values for later video-latent generation. We call this the historical context-gradient gap. We propose Self Gradient Forcing (SGF), a two-pass training strategy that restores this missing supervision signal without backpropagating through the full serial rollout. Pass 1 performs a no-gradient autoregressive rollout matching inference and, at a sampled denoising exit step, records both the self-generated context and the noisy latents fed to the model. Pass 2 performs parallel context-gradient reconstruction for the recorded exit step. The generated context is used as stop-gradient clean-latent input, while the model recomputes the context KV representations and future-to-context causal attention. Thus, SGF provides the missing memory-writing supervision within the native autoregressive training objective, using losses on future video latents to train the model to encode context into more effective causal memory. Across extensive long-horizon frame-wise and chunk-wise experiments under different initializations, SGF achieves stronger native long-video extrapolation than Self Forcing, especially in subject identity, background/layout consistency, and temporal stability. Remarkably, using only a 5-second training window, SGF can extrapolate to videos lasting several minutes. Code and models will be released to advance research on autoregressive video generation.