LARP: Tokenización de Videos con un Priors Generativo Autoregresivo Aprendido

LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior

October 28, 2024

Autores: Hanyu Wang, Saksham Suri, Yixuan Ren, Hao Chen, Abhinav Shrivastava

cs.AI

Resumen

Presentamos LARP, un novedoso tokenizador de video diseñado para superar las limitaciones en los métodos actuales de tokenización de video para modelos generativos autoregresivos (AR). A diferencia de los tokenizadores tradicionales basados en parches que codifican directamente parches visuales locales en tokens discretos, LARP introduce un esquema de tokenización holístico que recopila información del contenido visual utilizando un conjunto de consultas holísticas aprendidas. Este diseño permite a LARP capturar representaciones más globales y semánticas, en lugar de estar limitado a información a nivel de parche local. Además, ofrece flexibilidad al admitir un número arbitrario de tokens discretos, lo que permite una tokenización adaptativa y eficiente basada en los requisitos específicos de la tarea. Para alinear el espacio de tokens discretos con las tareas de generación AR subsiguientes, LARP integra un transformador AR ligero como modelo prior en tiempo de entrenamiento que predice el próximo token en su espacio latente discreto. Al incorporar el modelo prior durante el entrenamiento, LARP aprende un espacio latente que no solo está optimizado para la reconstrucción de video, sino que también está estructurado de una manera más propicia para la generación autoregresiva. Además, este proceso define un orden secuencial para los tokens discretos, empujándolos progresivamente hacia una configuración óptima durante el entrenamiento, asegurando una generación AR más suave y precisa en el momento de la inferencia. Experimentos exhaustivos demuestran el sólido rendimiento de LARP, logrando el estado del arte en FVD en el benchmark de generación de video condicional de la clase UCF101. LARP mejora la compatibilidad de los modelos AR con videos y abre el potencial para construir modelos de lenguaje multimodal unificados de alta fidelidad (MLLMs).

English

We present LARP, a novel video tokenizer designed to overcome limitations in current video tokenization methods for autoregressive (AR) generative models. Unlike traditional patchwise tokenizers that directly encode local visual patches into discrete tokens, LARP introduces a holistic tokenization scheme that gathers information from the visual content using a set of learned holistic queries. This design allows LARP to capture more global and semantic representations, rather than being limited to local patch-level information. Furthermore, it offers flexibility by supporting an arbitrary number of discrete tokens, enabling adaptive and efficient tokenization based on the specific requirements of the task. To align the discrete token space with downstream AR generation tasks, LARP integrates a lightweight AR transformer as a training-time prior model that predicts the next token on its discrete latent space. By incorporating the prior model during training, LARP learns a latent space that is not only optimized for video reconstruction but is also structured in a way that is more conducive to autoregressive generation. Moreover, this process defines a sequential order for the discrete tokens, progressively pushing them toward an optimal configuration during training, ensuring smoother and more accurate AR generation at inference time. Comprehensive experiments demonstrate LARP's strong performance, achieving state-of-the-art FVD on the UCF101 class-conditional video generation benchmark. LARP enhances the compatibility of AR models with videos and opens up the potential to build unified high-fidelity multimodal large language models (MLLMs).