Causal-rCM: Ein einheitliches offenes Rezept unter Verwendung von Teacher-Forcing und Self-Forcing für autoregressive Diffusionsdestillation in der Streaming-Videogenerierung und interaktiven Weltmodellen

Zusammenfassung

Autoregressive Videodiffusion mit kausalen Diffusionstransformatoren hat sich als wichtiges Paradigma für Echtzeit-Streaming-Videogenerierung und aktionsbedingte interaktive Weltmodelle etabliert. In dieser Arbeit erweitern wir rCM, ein fortgeschrittenes Framework zur Diffusionsdestillation, auf autoregressive Videodiffusion. Die Kernphilosophie von rCM liegt in der Komplementarität von Vorwärts- und Rückwärtsdivergenzen, die in der Diffusionsdestillation durch Konsistenzmodelle (CMs) bzw. Distribution Matching Distillation (DMD) repräsentiert werden. Diese Philosophie überträgt sich natürlich auf den autoregressiven Kontext, wo Teacher-Forcing (TF) ein Offline-, Vorwärtsdivergenz-basiertes kausales Trainingsparadigma bereitstellt, während Self-Forcing (SF) einer On-Policy-, Rückwärtsdivergenz-Verfeinerung entspricht. Unsere Beiträge sind: (1) durch umfangreiche Experimente zeigen wir, dass Teacher-Forcing-CM derzeit die beste Ergänzung zu Self-Forcing-DMD als Initialisierungsstrategie ist; (2) wir präsentieren die erste Implementierung von teacher-forcing-basierten kontinuierlichen CMs (z.B. sCM/MeanFlow) für autoregressive Videodiffusion, ermöglicht durch unseren benutzerdefinierten FlashAttention-2-JVP-Kernel mit Maskierung, wodurch eine 10-mal schnellere Konvergenz im Vergleich zu diskreten CMs (dCMs) erreicht wird; (3) wir führen Causal-rCM ein, ein führendes, einheitliches und skalierbares Algorithmus-Infrastruktur-Open-Rezept für Diffusionsdestillation und kausales Training; (4) wir erzielen eine hochmoderne Leistung bei der Streaming-Videogenerierung sowohl im frame- als auch im chunk-basierten Modus, wobei wir ausschließlich synthetische Daten zum Training verwenden. Bemerkenswerterweise erreicht unser destilliertes 2-Schritt-kausales Wan2.1-1.3B-Modell einen VBench-T2V-Score von 84,63 mit nur 1 oder 2 Abtastschritten. Wir wenden Causal-rCM weiterhin auf Cosmos 3 an, ein fortschrittliches omnimodales Weltfundamentmodell für physikalische KI mit aktionsbedingter Generierungsfähigkeit, das ein interaktives Weltmodell ermöglicht.

English

Autoregressive video diffusion with causal diffusion transformers has emerged as a major paradigm for real-time streaming video generation and action-conditioned interactive world models. In this work, we extend rCM, an advanced diffusion distillation framework, to autoregressive video diffusion. The core philosophy of rCM lies in the complementarity between forward and reverse divergences, represented by consistency models (CMs) and distribution matching distillation (DMD), respectively, in diffusion distillation. This philosophy naturally carries over to the autoregressive setting, where teacher-forcing (TF) provides an offline, forward-divergence causal training paradigm, while self-forcing (SF) corresponds to an on-policy, reverse-divergence refinement. Our contributions are: (1) through extensive experiments, we show that teacher-forcing CM is currently the best complement to self-forcing DMD as an initialization strategy (2) we present the first implementation of teacher-forcing-based continuous-time CMs (e.g., sCM/MeanFlow) for autoregressive video diffusion, enabled by our custom-mask FlashAttention-2 JVP kernel, achieving 10times faster convergence compared to discrete-time CMs (dCMs) (3) we introduce Causal-rCM, a leading, unified, and scalable algorithm-infrastructure open recipe for diffusion distillation and causal training (4) we achieve state-of-the-art streaming video generation performance in both frame-wise and chunk-wise settings, using only synthetic data for training. Notably, our distilled 2-step causal Wan2.1-1.3B model achieves a VBench-T2V score of 84.63 with only 1 or 2 sampling steps. We further apply Causal-rCM to Cosmos 3, an advanced omnimodal world foundation model for physical AI with action-conditioned generation capability, enabling an interactive world model.