Predicción del Próximo Bloque: Generación de Video a través de Modelado Semiautoregresivo

Next Block Prediction: Video Generation via Semi-Autoregressive Modeling

February 11, 2025

Autores: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei

cs.AI

Resumen

La Predicción del Próximo Token (NTP) es un enfoque de facto para la generación de video autoregresiva (AR), pero sufre de dependencias unidireccionales subóptimas y una velocidad de inferencia lenta. En este trabajo, proponemos un marco semi-autoregresivo (semi-AR), llamado Predicción del Próximo Bloque (NBP), para la generación de video. Al descomponer uniformemente el contenido del video en bloques de tamaño igual (por ejemplo, filas o cuadros), trasladamos la unidad de generación de tokens individuales a bloques, lo que permite que cada token en el bloque actual prediga simultáneamente el token correspondiente en el siguiente bloque. A diferencia del modelado AR tradicional, nuestro marco emplea atención bidireccional dentro de cada bloque, lo que permite que los tokens capturen dependencias espaciales más robustas. Al predecir múltiples tokens en paralelo, los modelos NBP reducen significativamente el número de pasos de generación, lo que conduce a una inferencia más rápida y eficiente. Nuestro modelo logra puntajes FVD de 103.3 en UCF101 y 25.5 en K600, superando al modelo NTP básico en un promedio de 4.4. Además, gracias al menor número de pasos de inferencia, el modelo NBP genera 8.89 cuadros (resolución 128x128) por segundo, logrando una aceleración de 11 veces. También exploramos escalas de modelos que van desde 700M hasta 3B parámetros, observando mejoras significativas en la calidad de generación, con puntajes FVD que disminuyen de 103.3 a 55.3 en UCF101 y de 25.5 a 19.5 en K600, demostrando la escalabilidad de nuestro enfoque.

English

Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.