Video-LaVIT: Pré-treinamento Unificado de Vídeo-Linguagem com Tokenização Visual-Motora Desacoplada

Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization

February 5, 2024

Autores: Yang Jin, Zhicheng Sun, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Quzhe Huang, Chengru Song, Yuliang Liu, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Resumo

Diante dos recentes avanços em modelos de linguagem de grande escala (LLMs) multimodais, há uma atenção crescente em escaloná-los de dados de imagem-texto para vídeos do mundo real mais informativos. Em comparação com imagens estáticas, o vídeo apresenta desafios únicos para o pré-treinamento em larga escala eficaz devido à modelagem de suas dinâmicas espaço-temporais. Neste artigo, abordamos essas limitações no pré-treinamento de vídeo-linguagem com uma decomposição eficiente de vídeo que representa cada vídeo como quadros-chave e movimentos temporais. Esses são então adaptados a um LLM usando tokenizadores bem projetados que discretizam informações visuais e temporais em alguns tokens, permitindo assim o pré-treinamento generativo unificado de vídeos, imagens e texto. Na inferência, os tokens gerados pelo LLM são cuidadosamente recuperados para o espaço de pixels contínuo original para criar diversos conteúdos de vídeo. Nosso framework proposto é capaz tanto de compreender quanto de gerar conteúdo de imagem e vídeo, conforme demonstrado por seu desempenho competitivo em 13 benchmarks multimodais de compreensão e geração de imagem e vídeo. Nosso código e modelos estarão disponíveis em https://video-lavit.github.io.

English

In light of recent advances in multimodal Large Language Models (LLMs), there is increasing attention to scaling them from image-text data to more informative real-world videos. Compared to static images, video poses unique challenges for effective large-scale pre-training due to the modeling of its spatiotemporal dynamics. In this paper, we address such limitations in video-language pre-training with an efficient video decomposition that represents each video as keyframes and temporal motions. These are then adapted to an LLM using well-designed tokenizers that discretize visual and temporal information as a few tokens, thus enabling unified generative pre-training of videos, images, and text. At inference, the generated tokens from the LLM are carefully recovered to the original continuous pixel space to create various video content. Our proposed framework is both capable of comprehending and generating image and video content, as demonstrated by its competitive performance across 13 multimodal benchmarks in image and video understanding and generation. Our code and models will be available at https://video-lavit.github.io.