Flex-Forcing: Auf dem Weg zu einem vereinheitlichten autoregressiven und bidirektionalen Video-Diffusionsmodell

Zusammenfassung

Die jüngsten Fortschritte bei großen generativen Modellen haben die Videogenerierung erheblich vorangetrieben, doch bestehende Methoden bleiben durch ein starres Inferenzparadigma eingeschränkt. Bidirektionale Diffusionsmodelle zeichnen sich durch globale Kohärenz und visuelle Treue aus, leiden jedoch unter langsamer Inferenz, während autoregressive Modelle eine effiziente und stromende Generierung bieten, allerdings auf Kosten der Konsistenz über lange Zeiträume und des Expositionsbias. Wir stellen Flex-Forcing vor, ein einheitliches Trainings- und Inferenzframework, das es einem Videodiffusionsmodell ermöglicht, nahtlos sowohl in bidirektionalen als auch in autoregressiven Generierungsmodi zu arbeiten. Die Kernidee ist ein flexibler Chunking-Mechanismus, der gemeinsam über die zeitliche Achse und die Entrauschungsschritte definiert wird. Dieses Design erlaubt dem Modell (1) flexibles Chunking entsprechend unterschiedlicher Gerätebudgets, (2) bidirektionale Inferenz über Chunks hinweg zur globalen Strukturplanung, während es innerhalb jedes Chunks autoregressiv Frames für eine effiziente und feinkörnige Synthese generiert, und (3) autoregressive Generierung in beliebiger Reihenfolge und zu beliebigen Zeitschritten ohne die strenge kausale Einschränkung. Umfangreiche Experimente mit mehreren Videogenerierungs-Benchmarks zeigen, dass Flex-Forcing im Vergleich zu starken Baselines mit starrem Inferenzplan eine durchweg bessere Videoqualität und Stabilität bei langen Videos erzielt und gleichzeitig eine schnellere Inferenz bietet.

English

Recent progress in large-scale generative models has substantially advanced video generation, yet existing methods remain constrained by a rigid inference paradigm. Bidirectional diffusion models excel at global coherence and visual fidelity but suffer from slow inference, while autoregressive models offer efficient and streaming generation at the cost of long-range consistency and exposure bias. We introduce Flex-Forcing, a unified training and inference framework that enables a video diffusion model to seamlessly operate under both bidirectional and autoregressive generation regimes. The core idea is a flexible chunking mechanism jointly defined over the temporal axis and denoising steps. This design allows the model to (1) perform flexible chunking according to different device budgets, (2) perform bidirectional inference across chunks for global structure planning, while generating frames autoregressively within each chunk for efficient and fine-grained synthesis, and (3) perform any-order, any-timestep autoregressive generation without the strict causal constraint. Extensive experiments on multiple video generation benchmarks demonstrate that Flex-Forcing achieves consistently better video quality, long-video stability than strong baselines with a rigid inference schedule, while offering faster inference.