Causal Forcing++: Skalierbare wenigschrittige autoregressive Diffusionsdestillation für Echtzeit-interaktive Videogenerierung

Zusammenfassung

Echtzeit-interaktive Videogenerierung erfordert eine latenzarme, streamingfähige und steuerbare Ausgabe. Bestehende autoregressive (AR) Diffusionsdestillationsmethoden haben im Block-weisen 4-Schritt-Regime starke Ergebnisse erzielt, indem bidirektionale Basismodelle in wenige-Schritt-AR-Schüler destilliert wurden. Dennoch bleiben sie durch eine grobe Antwortgranularität und eine nicht vernachlässigbare Abtastlatenz eingeschränkt. In dieser Arbeit untersuchen wir ein aggressiveres Szenario: bildweise Autoregression mit nur 1–2 Abtastschritten. In diesem Regime identifizieren wir die Initialisierung eines Wenige-Schritt-AR-Schülers als zentralen Engpass: Bestehende Strategien sind entweder zielabweichend, für Wenige-Schritt-Generierung ungeeignet oder zu rechenintensiv für eine Skalierung. Wir schlagen Causal Forcing++ vor, eine prinzipientreue und skalierbare Pipeline, die kausale Konsistenzdestillation (Causal CD) zur Wenige-Schritt-AR-Initialisierung nutzt. Die Kernidee besteht darin, dass Causal CD denselben AR-bedingten Flussabbildung wie die kausale ODE-Destillation erlernt, jedoch die Aufsicht von einem einzigen Online-Lehrer-ODE-Schritt zwischen benachbarten Zeitschritten erhält. Dies vermeidet die Notwendigkeit, vollständige PF-ODE-Trajektorien vorzuberechnen und zu speichern. Dadurch wird die Initialisierung sowohl effizienter als auch einfacher zu optimieren. Die resultierende Pipeline, \ours, übertrifft den aktuellen Stand der Technik (4-Schritt-Block-weises Causal Forcing) im \textbf{bildweisen 2-Schritt-Setting} um 0,1 im VBench Gesamtergebnis, 0,3 in der VBench-Qualität und 0,335 in VisionReward, während die Latenz des ersten Bildes um 50\% und die Trainingskosten der Phase 2 um etwa das Vierfache reduziert werden. Wir erweitern die Pipeline zudem auf die aktionsbedingte Weltmodellgeneration im Sinne von Genie3. Projektseite: https://github.com/thu-ml/Causal-Forcing und https://github.com/shengshu-ai/minWM.

English

Real-time interactive video generation requires low-latency, streaming, and controllable rollout. Existing autoregressive (AR) diffusion distillation methods have achieved strong results in the chunk-wise 4-step regime by distilling bidirectional base models into few-step AR students, but they remain limited by coarse response granularity and non-negligible sampling latency. In this paper, we study a more aggressive setting: frame-wise autoregression with only 1--2 sampling steps. In this regime, we identify the initialization of a few-step AR student as the key bottleneck: existing strategies are either target-misaligned, incapable of few-step generation, or too costly to scale. We propose Causal Forcing++, a principled and scalable pipeline that uses causal consistency distillation (causal CD) for few-step AR initialization. The core idea is that causal CD learns the same AR-conditional flow map as causal ODE distillation, but obtains supervision from a single online teacher ODE step between adjacent timesteps, avoiding the need to precompute and store full PF-ODE trajectories. This makes the initialization both more efficient and easier to optimize. The resulting pipeline, \ours, surpasses the SOTA 4-step chunk-wise Causal Forcing under the \textbf{frame-wise 2-step setting} by 0.1 in VBench Total, 0.3 in VBench Quality, and 0.335 in VisionReward, while reducing first-frame latency by 50\% and Stage 2 training cost by sim4times. We further extend the pipeline to action-conditioned world model generation in the spirit of Genie3. Project Page: https://github.com/thu-ml/Causal-Forcing and https://github.com/shengshu-ai/minWM .