Causal-rCM: Una receta abierta unificada de forzado por el profesor y autoforzado para la destilación de difusión autorregresiva en la generación de video en streaming y modelos de mundo interactivos

Resumen

La difusión de video autorregresiva con transformadores de difusión causal ha emergido como un paradigma principal para la generación de video en streaming en tiempo real y modelos de mundo interactivos condicionados por acciones. En este trabajo, extendemos rCM, un marco avanzado de destilación de difusión, a la difusión de video autorregresiva. La filosofía central de rCM radica en la complementariedad entre las divergencias directa e inversa, representadas respectivamente por los modelos de consistencia (CMs) y la destilación por emparejamiento de distribuciones (DMD), en la destilación de difusión. Esta filosofía se traslada de forma natural al entorno autorregresivo, donde el teacher-forcing (TF) proporciona un paradigma de entrenamiento causal offline de divergencia directa, mientras que el self-forcing (SF) corresponde a un refinamiento on-policy de divergencia inversa. Nuestras contribuciones son: (1) mediante extensos experimentos, demostramos que el teacher-forcing CM es actualmente el mejor complemento al self-forcing DMD como estrategia de inicialización; (2) presentamos la primera implementación de CMs de tiempo continuo basados en teacher-forcing (p. ej., sCM/MeanFlow) para difusión de video autorregresiva, habilitada por nuestro kernel JVP FlashAttention-2 con máscara personalizada, logrando una convergencia 10 veces más rápida en comparación con los CMs de tiempo discreto (dCMs); (3) introducimos Causal-rCM, una receta abierta líder, unificada y escalable de algoritmo-infraestructura para destilación de difusión y entrenamiento causal; (4) alcanzamos un rendimiento de generación de video en streaming de última generación tanto en configuraciones cuadro por cuadro como por fragmentos, utilizando únicamente datos sintéticos para el entrenamiento. Notablemente, nuestro modelo causal Wan2.1-1.3B destilado en 2 pasos alcanza una puntuación VBench-T2V de 84.63 con solo 1 o 2 pasos de muestreo. Además, aplicamos Causal-rCM a Cosmos 3, un modelo fundacional de mundo omnimodal avanzado para IA física con capacidad de generación condicionada por acciones, lo que permite un modelo de mundo interactivo.

English

Autoregressive video diffusion with causal diffusion transformers has emerged as a major paradigm for real-time streaming video generation and action-conditioned interactive world models. In this work, we extend rCM, an advanced diffusion distillation framework, to autoregressive video diffusion. The core philosophy of rCM lies in the complementarity between forward and reverse divergences, represented by consistency models (CMs) and distribution matching distillation (DMD), respectively, in diffusion distillation. This philosophy naturally carries over to the autoregressive setting, where teacher-forcing (TF) provides an offline, forward-divergence causal training paradigm, while self-forcing (SF) corresponds to an on-policy, reverse-divergence refinement. Our contributions are: (1) through extensive experiments, we show that teacher-forcing CM is currently the best complement to self-forcing DMD as an initialization strategy (2) we present the first implementation of teacher-forcing-based continuous-time CMs (e.g., sCM/MeanFlow) for autoregressive video diffusion, enabled by our custom-mask FlashAttention-2 JVP kernel, achieving 10times faster convergence compared to discrete-time CMs (dCMs) (3) we introduce Causal-rCM, a leading, unified, and scalable algorithm-infrastructure open recipe for diffusion distillation and causal training (4) we achieve state-of-the-art streaming video generation performance in both frame-wise and chunk-wise settings, using only synthetic data for training. Notably, our distilled 2-step causal Wan2.1-1.3B model achieves a VBench-T2V score of 84.63 with only 1 or 2 sampling steps. We further apply Causal-rCM to Cosmos 3, an advanced omnimodal world foundation model for physical AI with action-conditioned generation capability, enabling an interactive world model.