Causal-rCM : Une recette ouverte unifiée de forçage par l'enseignant et d'auto-forçage pour la distillation par diffusion autorégressive dans la génération de vidéo en continu et les modèles de monde interactifs

Résumé

La diffusion vidéo autorégressive avec des transformers de diffusion causale est devenue un paradigme majeur pour la génération de vidéos en streaming en temps réel et les modèles de monde interactifs conditionnés par des actions. Dans ce travail, nous étendons rCM, un cadre avancé de distillation de diffusion, à la diffusion vidéo autorégressive. La philosophie centrale de rCM réside dans la complémentarité entre les divergences forward et reverse, représentées respectivement par les modèles de cohérence (CM) et la distillation par appariement de distributions (DMD), dans la distillation de diffusion. Cette philosophie se transpose naturellement au cadre autorégressif, où le teacher-forcing (TF) fournit un paradigme d'entraînement causal hors ligne basé sur la divergence forward, tandis que le self-forcing (SF) correspond à un raffinement on-policy basé sur la divergence reverse. Nos contributions sont les suivantes : (1) grâce à des expériences approfondies, nous montrons que le teacher-forcing CM est actuellement le meilleur complément au self-forcing DMD en tant que stratégie d'initialisation ; (2) nous présentons la première implémentation de CM en temps continu basés sur le teacher-forcing (par exemple, sCM/MeanFlow) pour la diffusion vidéo autorégressive, rendue possible par notre noyau FlashAttention-2 JVP à masque personnalisé, atteignant une convergence 10 fois plus rapide par rapport aux CM en temps discret (dCM) ; (3) nous introduisons Causal-rCM, une recette ouverte d'algorithme et d'infrastructure unifiée, évolutive et de premier plan pour la distillation de diffusion et l'entraînement causal ; (4) nous obtenons des performances de pointe en génération de vidéos en streaming, à la fois image par image et par blocs, en utilisant uniquement des données synthétiques pour l'entraînement. Notamment, notre modèle causal Wan2.1-1.3B distillé en 2 étapes obtient un score VBench-T2V de 84,63 avec seulement 1 ou 2 étapes d'échantillonnage. Nous appliquons en outre Causal-rCM à Cosmos 3, un modèle de base de monde omnimodal avancé pour l'IA physique avec capacité de génération conditionnée par des actions, permettant un modèle de monde interactif.

English

Autoregressive video diffusion with causal diffusion transformers has emerged as a major paradigm for real-time streaming video generation and action-conditioned interactive world models. In this work, we extend rCM, an advanced diffusion distillation framework, to autoregressive video diffusion. The core philosophy of rCM lies in the complementarity between forward and reverse divergences, represented by consistency models (CMs) and distribution matching distillation (DMD), respectively, in diffusion distillation. This philosophy naturally carries over to the autoregressive setting, where teacher-forcing (TF) provides an offline, forward-divergence causal training paradigm, while self-forcing (SF) corresponds to an on-policy, reverse-divergence refinement. Our contributions are: (1) through extensive experiments, we show that teacher-forcing CM is currently the best complement to self-forcing DMD as an initialization strategy (2) we present the first implementation of teacher-forcing-based continuous-time CMs (e.g., sCM/MeanFlow) for autoregressive video diffusion, enabled by our custom-mask FlashAttention-2 JVP kernel, achieving 10times faster convergence compared to discrete-time CMs (dCMs) (3) we introduce Causal-rCM, a leading, unified, and scalable algorithm-infrastructure open recipe for diffusion distillation and causal training (4) we achieve state-of-the-art streaming video generation performance in both frame-wise and chunk-wise settings, using only synthetic data for training. Notably, our distilled 2-step causal Wan2.1-1.3B model achieves a VBench-T2V score of 84.63 with only 1 or 2 sampling steps. We further apply Causal-rCM to Cosmos 3, an advanced omnimodal world foundation model for physical AI with action-conditioned generation capability, enabling an interactive world model.