Generación de Video Autoregresiva sin Cuantificación de Vectores

Autoregressive Video Generation without Vector Quantization

December 18, 2024

Autores: Haoge Deng, Ting Pan, Haiwen Diao, Zhengxiong Luo, Yufeng Cui, Huchuan Lu, Shiguang Shan, Yonggang Qi, Xinlong Wang

cs.AI

Resumen

Este documento presenta un enfoque novedoso que permite la generación de video autoregresivo con alta eficiencia. Proponemos reformular el problema de generación de video como un modelado autoregresivo no cuantizado de predicción temporal de cuadro a cuadro y predicción espacial de conjunto a conjunto. A diferencia de la predicción de barrido de raster en modelos autoregresivos anteriores o el modelado de distribución conjunta de tokens de longitud fija en modelos de difusión, nuestro enfoque mantiene la propiedad causal de los modelos de estilo GPT para capacidades flexibles en contexto, al tiempo que aprovecha el modelado bidireccional dentro de cuadros individuales para eficiencia. Con el enfoque propuesto, entrenamos un modelo autoregresivo de video novedoso sin cuantificación de vectores, denominado NOVA. Nuestros resultados demuestran que NOVA supera a modelos autoregresivos de video anteriores en eficiencia de datos, velocidad de inferencia, fidelidad visual y fluidez de video, incluso con una capacidad de modelo mucho más pequeña, es decir, 0.6B parámetros. NOVA también supera a los modelos de difusión de imagen de última generación en tareas de generación de texto a imagen, con un costo de entrenamiento significativamente menor. Además, NOVA generaliza bien a través de duraciones de video extendidas y permite diversas aplicaciones de cero disparo en un modelo unificado. El código y los modelos están disponibles públicamente en https://github.com/baaivision/NOVA.

English

This paper presents a novel approach that enables autoregressive video generation with high efficiency. We propose to reformulate the video generation problem as a non-quantized autoregressive modeling of temporal frame-by-frame prediction and spatial set-by-set prediction. Unlike raster-scan prediction in prior autoregressive models or joint distribution modeling of fixed-length tokens in diffusion models, our approach maintains the causal property of GPT-style models for flexible in-context capabilities, while leveraging bidirectional modeling within individual frames for efficiency. With the proposed approach, we train a novel video autoregressive model without vector quantization, termed NOVA. Our results demonstrate that NOVA surpasses prior autoregressive video models in data efficiency, inference speed, visual fidelity, and video fluency, even with a much smaller model capacity, i.e., 0.6B parameters. NOVA also outperforms state-of-the-art image diffusion models in text-to-image generation tasks, with a significantly lower training cost. Additionally, NOVA generalizes well across extended video durations and enables diverse zero-shot applications in one unified model. Code and models are publicly available at https://github.com/baaivision/NOVA.