Predizione del Prossimo Blocco: Generazione Video tramite Modellazione Semi-Autoregressiva

Next Block Prediction: Video Generation via Semi-Autoregressive Modeling

February 11, 2025

Autori: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei

cs.AI

Abstract

La Predizione del Prossimo Token (NTP) è un approccio di fatto per la generazione video autoregressiva (AR), ma soffre di dipendenze unidirezionali non ottimali e di una lentezza nell'elaborazione. In questo lavoro, proponiamo un framework semi-autoregressivo (semi-AR), chiamato Predizione del Prossimo Blocco (NBP), per la generazione video. Decomponendo uniformemente il contenuto video in blocchi di dimensioni uguali (ad esempio, righe o fotogrammi), spostiamo l'unità di generazione dai singoli token ai blocchi, consentendo a ciascun token nel blocco corrente di prevedere simultaneamente il token corrispondente nel blocco successivo. A differenza della modellazione AR tradizionale, il nostro framework utilizza un'attenzione bidirezionale all'interno di ciascun blocco, consentendo ai token di catturare dipendenze spaziali più robuste. Prevedendo più token in parallelo, i modelli NBP riducono significativamente il numero di passaggi di generazione, portando a un'elaborazione più rapida ed efficiente. Il nostro modello raggiunge punteggi FVD di 103.3 su UCF101 e 25.5 su K600, superando il modello NTP di base di 4.4 in media. Inoltre, grazie al ridotto numero di passaggi di elaborazione, il modello NBP genera 8.89 fotogrammi (risoluzione 128x128) al secondo, ottenendo un aumento di velocità di 11 volte. Abbiamo esplorato anche scale di modelli che vanno da 700M a 3B parametri, osservando miglioramenti significativi nella qualità della generazione, con punteggi FVD che scendono da 103.3 a 55.3 su UCF101 e da 25.5 a 19.5 su K600, dimostrando la scalabilità del nostro approccio.

English

Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.