Volgende Blok Voorspelling: Video Generatie via Semi-Autoregressief Modelleren

Next Block Prediction: Video Generation via Semi-Autoregressive Modeling

February 11, 2025

Auteurs: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei

cs.AI

Samenvatting

Next-Token Prediction (NTP) is een de facto benadering voor autoregressieve (AR) videogeneratie, maar het heeft te lijden onder suboptimale eenrichtingsafhankelijkheden en trage inferentiesnelheid. In dit werk stellen we een semi-autoregressief (semi-AR) kader voor, genaamd Next-Block Prediction (NBP), voor videogeneratie. Door video-inhoud uniform op te delen in gelijkwaardige blokken (bijv. rijen of frames), verplaatsen we de generatie-eenheid van individuele tokens naar blokken, waardoor elk token in het huidige blok tegelijkertijd het overeenkomstige token in het volgende blok kan voorspellen. In tegenstelling tot traditionele AR-modellering maakt ons kader gebruik van bidirectionele aandacht binnen elk blok, waardoor tokens robuustere ruimtelijke afhankelijkheden kunnen vastleggen. Door meerdere tokens parallel te voorspellen, verminderen NBP-modellen aanzienlijk het aantal generatiestappen, wat leidt tot snellere en efficiëntere inferenties. Ons model behaalt FVD-scores van 103,3 op UCF101 en 25,5 op K600, waarbij het gemiddeld 4,4 beter presteert dan het standaard NTP-model. Bovendien genereert het NBP-model dankzij het verminderde aantal inferentiestappen 8,89 frames (128x128 resolutie) per seconde, wat een versnelling van 11x betekent. We hebben ook modelgroottes onderzocht variërend van 700M tot 3B parameters, waarbij we aanzienlijke verbeteringen in generatiekwaliteit hebben waargenomen, met FVD-scores die dalen van 103,3 naar 55,3 op UCF101 en van 25,5 naar 19,5 op K600, wat de schaalbaarheid van onze aanpak aantoont.

English

Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.