コンテキスト整合蒸留：自己回帰ビデオ蒸留のための教師因果

要旨

インタラクティブな自己回帰動画生成には、低遅延のロールアウトと正確なオンライン制御の両方が求められる。少数ステップ蒸留はデノイジングステップを削減することで生成を高速化する一方、オンライン制御は因果制約を課す。すなわち、フレームとブロックは生成時に利用可能な履歴と制御に依存すべきである。しかし、既存の動画分布マッチング蒸留（DMD）パイプラインは、完全なクリップをスコアリングする双方向教師モデルを用いて、因果的な少数ステップの生徒モデルに教師信号を与えることが多い。このため、ターゲットのスコアは、生徒がそれを生成した時点では利用できなかった未来のフレームや制御に依存し得る。これにより、教師信号と生徒の因果的情報セットとの間に不整合が生じる。我々は、各ターゲットが生成される時点で利用可能な情報に教師信号を整合させる因果的DMDフレームワークであるContext-Matched Distillation（CMD）を導入する。CMDは、双方向のフルクリップスコアリングを、将来のフレームや制御にアクセスせずに各ターゲットを評価する因果的教師モデルに置き換える。同じ因果的教師モデルが少数ステップの生徒モデルを初期化し、教師の訓練、生徒の蒸留、推論にわたって一貫した因果的定式化を確立する。時間的情報境界の整合に加えて、Prefix Scoringは、各ターゲットを、それを生成したキャッシュされた生徒生成プレフィックスの下で評価することにより、教師信号を生徒が実際に実現したロールアウトコンテキストに一致させる。Prefix Corruptionは、訓練初期に生成される信頼性の低いプレフィックスを摂動させることで訓練をさらに安定化させ、このターゲットとコンテキストの整合性を保つ。単純な因果的定式化により、CMDはフレーム単位およびチャンク単位の生成、長尺動画の蒸留、カメラ条件付き蒸留に自然に拡張される。実験では、短尺および長尺の両方の動画ベンチマークにおいて、自己回帰手法の中で最先端の総合性能を示すとともに、時間変化するカメラ制御への追従が大幅に改善されることを実証する。

English

Interactive autoregressive video generation demands both low-latency rollouts and precise online control. Few-step distillation accelerates generation by reducing denoising steps, while online control imposes a causal constraint: frames and blocks should depend on history and controls available during generation. Existing video distribution matching distillation (DMD) pipelines, however, often supervise causal few-step students using bidirectional teachers that score complete clips. The score for a target can therefore depend on future frames and controls that were unavailable when the student generated it, misaligning teacher supervision with the student's causal information set. We introduce Context-Matched Distillation (CMD), a causal DMD framework that aligns teacher supervision with the information available when each target is generated. CMD replaces bidirectional full-clip scoring with a causal teacher that evaluates each target without access to future frames or controls. The same causal teacher initializes the few-step student, establishing a consistent causal formulation across teacher training, student distillation, and inference. Beyond aligning the temporal information boundary, Prefix Scoring matches supervision to the student's realized rollout context by evaluating each target under the cached student-generated prefix that produced it. Prefix Corruption further stabilizes training by perturbing unreliable prefixes produced early in training while preserving this target-context alignment. With a simple causal formulation, CMD naturally extends to frame-wise and chunk-wise generation, long video distillation, and camera-conditioned distillation. Experiments demonstrate state-of-the-art aggregate performance among autoregressive methods on both short- and long-video benchmarks, together with substantially improved adherence to time-varying camera controls.