xGen-MM-Vid (BLIP-3-Video): Você só precisa de 32 tokens para representar um vídeo Mesmo em VLMs

xGen-MM-Vid (BLIP-3-Video): You Only Need 32 Tokens to Represent a Video Even in VLMs

October 21, 2024

Autores: Michael S. Ryoo, Honglu Zhou, Shrikant Kendre, Can Qin, Le Xue, Manli Shu, Silvio Savarese, Ran Xu, Caiming Xiong, Juan Carlos Niebles

cs.AI

Resumo

Apresentamos o xGen-MM-Vid (BLIP-3-Video): um modelo de linguagem multimodal para vídeos, especialmente projetado para capturar eficientemente informações temporais ao longo de vários quadros. O BLIP-3-Video aproveita o 'codificador temporal' além do tokenizador visual convencional, que mapeia uma sequência de tokens em vários quadros em um conjunto compacto de tokens visuais. Isso permite que o BLIP3-Video utilize muito menos tokens visuais do que seus modelos concorrentes (por exemplo, 32 vs. 4608 tokens). Exploramos diferentes tipos de codificadores temporais, incluindo pooling espaço-temporal aprendível, bem como modelos sequenciais como Máquinas de Tokens Turing. Experimentalmente, confirmamos que o BLIP-3-Video obtém precisões de perguntas e respostas em vídeo comparáveis a modelos state-of-the-art muito maiores (por exemplo, 34B), sendo muito menor (ou seja, 4B) e mais eficiente ao usar menos tokens visuais. O site do projeto está em https://www.salesforceairesearch.com/opensource/xGen-MM-Vid/index.html

English

We present xGen-MM-Vid (BLIP-3-Video): a multimodal language model for videos, particularly designed to efficiently capture temporal information over multiple frames. BLIP-3-Video takes advantage of the 'temporal encoder' in addition to the conventional visual tokenizer, which maps a sequence of tokens over multiple frames into a compact set of visual tokens. This enables BLIP3-Video to use much fewer visual tokens than its competing models (e.g., 32 vs. 4608 tokens). We explore different types of temporal encoders, including learnable spatio-temporal pooling as well as sequential models like Token Turing Machines. We experimentally confirm that BLIP-3-Video obtains video question-answering accuracies comparable to much larger state-of-the-art models (e.g., 34B), while being much smaller (i.e., 4B) and more efficient by using fewer visual tokens. The project website is at https://www.salesforceairesearch.com/opensource/xGen-MM-Vid/index.html