LARP: Tokenização de Vídeos com uma Priori Generativa Autoregressiva Aprendida

LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior

October 28, 2024

Autores: Hanyu Wang, Saksham Suri, Yixuan Ren, Hao Chen, Abhinav Shrivastava

cs.AI

Resumo

Apresentamos o LARP, um novo tokenizador de vídeo projetado para superar as limitações nos métodos atuais de tokenização de vídeo para modelos generativos autoregressivos (AR). Ao contrário dos tokenizadores tradicionais baseados em patches que codificam diretamente patches visuais locais em tokens discretos, o LARP introduz um esquema de tokenização holística que reúne informações do conteúdo visual usando um conjunto de consultas holísticas aprendidas. Esse design permite que o LARP capture representações mais globais e semânticas, em vez de se limitar a informações locais em nível de patch. Além disso, oferece flexibilidade ao suportar um número arbitrário de tokens discretos, possibilitando uma tokenização adaptativa e eficiente com base nos requisitos específicos da tarefa. Para alinhar o espaço de tokens discretos com tarefas de geração AR subsequentes, o LARP integra um transformador AR leve como modelo prior durante o treinamento, que prevê o próximo token em seu espaço latente discreto. Ao incorporar o modelo prior durante o treinamento, o LARP aprende um espaço latente otimizado não apenas para reconstrução de vídeo, mas também estruturado de forma mais propícia à geração autoregressiva. Além disso, esse processo define uma ordem sequencial para os tokens discretos, empurrando-os progressivamente em direção a uma configuração ótima durante o treinamento, garantindo uma geração AR mais suave e precisa no momento da inferência. Experimentos abrangentes demonstram o forte desempenho do LARP, alcançando o estado-da-arte no FVD no benchmark de geração de vídeo condicional à classe UCF101. O LARP aprimora a compatibilidade de modelos AR com vídeos e abre o potencial para construir modelos unificados de linguagem multimodal de alta fidelidade (MLLMs).

English

We present LARP, a novel video tokenizer designed to overcome limitations in current video tokenization methods for autoregressive (AR) generative models. Unlike traditional patchwise tokenizers that directly encode local visual patches into discrete tokens, LARP introduces a holistic tokenization scheme that gathers information from the visual content using a set of learned holistic queries. This design allows LARP to capture more global and semantic representations, rather than being limited to local patch-level information. Furthermore, it offers flexibility by supporting an arbitrary number of discrete tokens, enabling adaptive and efficient tokenization based on the specific requirements of the task. To align the discrete token space with downstream AR generation tasks, LARP integrates a lightweight AR transformer as a training-time prior model that predicts the next token on its discrete latent space. By incorporating the prior model during training, LARP learns a latent space that is not only optimized for video reconstruction but is also structured in a way that is more conducive to autoregressive generation. Moreover, this process defines a sequential order for the discrete tokens, progressively pushing them toward an optimal configuration during training, ensuring smoother and more accurate AR generation at inference time. Comprehensive experiments demonstrate LARP's strong performance, achieving state-of-the-art FVD on the UCF101 class-conditional video generation benchmark. LARP enhances the compatibility of AR models with videos and opens up the potential to build unified high-fidelity multimodal large language models (MLLMs).