Vorhersage des nächsten Blocks: Videogenerierung mittels halbautoregressiver Modellierung

Next Block Prediction: Video Generation via Semi-Autoregressive Modeling

February 11, 2025

Autoren: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei

cs.AI

Zusammenfassung

Die Next-Token Prediction (NTP) ist ein de facto Ansatz für die autoregressive (AR) Videogenerierung, leidet jedoch unter suboptimalen unidirektionalen Abhängigkeiten und langsamer Inferenzgeschwindigkeit. In dieser Arbeit schlagen wir ein semi-autoregressives (semi-AR) Framework namens Next-Block Prediction (NBP) für die Videogenerierung vor. Durch die gleichmäßige Zerlegung des Videomaterials in gleichgroße Blöcke (z. B. Zeilen oder Frames) verschieben wir die Generierungseinheit von einzelnen Tokens auf Blöcke, wodurch jedes Token im aktuellen Block gleichzeitig das entsprechende Token im nächsten Block vorhersagen kann. Im Gegensatz zur traditionellen AR-Modellierung verwendet unser Framework eine bidirektionale Aufmerksamkeit innerhalb jedes Blocks, wodurch Tokens robustere räumliche Abhängigkeiten erfassen können. Durch die gleichzeitige Vorhersage mehrerer Tokens reduzieren NBP-Modelle signifikant die Anzahl der Generierungsschritte, was zu einer schnelleren und effizienteren Inferenz führt. Unser Modell erreicht FVD-Werte von 103,3 auf UCF101 und 25,5 auf K600 und übertrifft das herkömmliche NTP-Modell im Durchschnitt um 4,4. Darüber hinaus generiert das NBP-Modell aufgrund der reduzierten Anzahl von Inferenzschritten 8,89 Frames (Auflösung 128x128) pro Sekunde und erzielt eine 11-fache Beschleunigung. Wir haben auch Modellskalen von 700M bis 3B Parametern untersucht und dabei signifikante Verbesserungen in der Generierungsqualität festgestellt, wobei die FVD-Werte von 103,3 auf UCF101 und von 25,5 auf 19,5 auf K600 sanken, was die Skalierbarkeit unseres Ansatzes zeigt.

English

Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.