Autoregressieve Video Generatie zonder Vector Quantisatie

Autoregressive Video Generation without Vector Quantization

December 18, 2024

Auteurs: Haoge Deng, Ting Pan, Haiwen Diao, Zhengxiong Luo, Yufeng Cui, Huchuan Lu, Shiguang Shan, Yonggang Qi, Xinlong Wang

cs.AI

Samenvatting

Dit artikel presenteert een nieuwe benadering die autoregressieve videogeneratie met hoge efficiëntie mogelijk maakt. We stellen voor om het probleem van videogeneratie te herformuleren als een niet-gekwantiseerde autoregressieve modellering van temporele frame-voor-frame voorspelling en ruimtelijke set-voor-set voorspelling. In tegenstelling tot raster-scan voorspelling in eerdere autoregressieve modellen of gezamenlijke distributiemodellering van tokens met een vaste lengte in diffusiemodellen, behoudt onze benadering de causale eigenschap van GPT-stijl modellen voor flexibele in-context mogelijkheden, terwijl het bidirectionele modellering binnen individuele frames benut voor efficiëntie. Met de voorgestelde benadering trainen we een nieuwe autoregressief videomodel zonder vectorkwantisatie, genaamd NOVA. Onze resultaten tonen aan dat NOVA eerdere autoregressieve videomodellen overtreft in data-efficiëntie, inferentiesnelheid, visuele kwaliteit en videovloeiendheid, zelfs met een veel kleinere modelcapaciteit, d.w.z., 0,6B parameters. NOVA presteert ook beter dan state-of-the-art beeld diffusiemodellen in tekst-naar-beeld generatietaken, met aanzienlijk lagere trainingskosten. Bovendien generaliseert NOVA goed over uitgebreide videoduur en maakt het diverse zero-shot toepassingen mogelijk in één verenigd model. Code en modellen zijn openbaar beschikbaar op https://github.com/baaivision/NOVA.

English

This paper presents a novel approach that enables autoregressive video generation with high efficiency. We propose to reformulate the video generation problem as a non-quantized autoregressive modeling of temporal frame-by-frame prediction and spatial set-by-set prediction. Unlike raster-scan prediction in prior autoregressive models or joint distribution modeling of fixed-length tokens in diffusion models, our approach maintains the causal property of GPT-style models for flexible in-context capabilities, while leveraging bidirectional modeling within individual frames for efficiency. With the proposed approach, we train a novel video autoregressive model without vector quantization, termed NOVA. Our results demonstrate that NOVA surpasses prior autoregressive video models in data efficiency, inference speed, visual fidelity, and video fluency, even with a much smaller model capacity, i.e., 0.6B parameters. NOVA also outperforms state-of-the-art image diffusion models in text-to-image generation tasks, with a significantly lower training cost. Additionally, NOVA generalizes well across extended video durations and enables diverse zero-shot applications in one unified model. Code and models are publicly available at https://github.com/baaivision/NOVA.