Prédiction du prochain bloc : Génération de vidéos via modélisation semi-autorégressive

Next Block Prediction: Video Generation via Semi-Autoregressive Modeling

February 11, 2025

Auteurs: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei

cs.AI

Résumé

La Prédiction du Prochain-Token (NTP) est une approche de facto pour la génération vidéo autorégressive (AR), mais elle souffre de dépendances unidirectionnelles suboptimales et d'une vitesse d'inférence lente. Dans ce travail, nous proposons un cadre semi-autorégressif (semi-AR), appelé Prédiction du Prochain-Bloc (NBP), pour la génération vidéo. En décomposant uniformément le contenu vidéo en blocs de taille égale (par exemple, lignes ou images), nous déplaçons l'unité de génération des tokens individuels aux blocs, permettant à chaque token dans le bloc actuel de prédire simultanément le token correspondant dans le bloc suivant. Contrairement à la modélisation AR traditionnelle, notre cadre utilise une attention bidirectionnelle au sein de chaque bloc, permettant aux tokens de capturer des dépendances spatiales plus robustes. En prédisant plusieurs tokens en parallèle, les modèles NBP réduisent significativement le nombre d'étapes de génération, conduisant à une inférence plus rapide et efficace. Notre modèle atteint des scores FVD de 103,3 sur UCF101 et de 25,5 sur K600, surpassant le modèle NTP classique en moyenne de 4,4. De plus, grâce au nombre réduit d'étapes d'inférence, le modèle NBP génère 8,89 images (résolution 128x128) par seconde, réalisant un gain de vitesse de 11 fois. Nous avons également exploré des échelles de modèle allant de 700M à 3B de paramètres, observant des améliorations significatives en termes de qualité de génération, avec des scores FVD passant de 103,3 à 55,3 sur UCF101 et de 25,5 à 19,5 sur K600, démontrant la scalabilité de notre approche.

English

Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.