Transferência de Contexto Longa da Linguagem para a Visão

Long Context Transfer from Language to Vision

June 24, 2024

Autores: Peiyuan Zhang, Kaichen Zhang, Bo Li, Guangtao Zeng, Jingkang Yang, Yuanhan Zhang, Ziyue Wang, Haoran Tan, Chunyuan Li, Ziwei Liu

cs.AI

Resumo

Sequências de vídeo oferecem informações temporais valiosas, mas os modelos multimodais grandes existentes (LMMs) têm dificuldade em entender vídeos extremamente longos. Muitos trabalhos abordam isso reduzindo o número de tokens visuais usando remuestreadores visuais. Alternativamente, neste artigo, abordamos esse problema a partir da perspectiva do modelo de linguagem. Ao simplesmente extrapolar o comprimento do contexto da espinha dorsal da linguagem, permitimos que os LMMs compreendam ordens de magnitude mais tokens visuais sem nenhum treinamento de vídeo. Chamamos esse fenômeno de transferência de contexto longo e ablatamos cuidadosamente suas propriedades. Para medir efetivamente a capacidade dos LMMs de generalizar para contextos longos na modalidade de visão, desenvolvemos V-NIAH (Visual Needle-In-A-Haystack), um benchmark de visão longa puramente sintético inspirado no teste NIAH do modelo de linguagem. Nosso Assistente de Vídeo Longo (LongVA) proposto pode processar 2000 quadros ou mais de 200 mil tokens visuais sem complexidades adicionais. Com seu comprimento de contexto estendido, o LongVA alcança desempenho de ponta no Video-MME entre modelos de escala 7B amostrando densamente mais quadros de entrada. Nosso trabalho está disponível em código aberto em https://github.com/EvolvingLMMs-Lab/LongVA.

English

Video sequences offer valuable temporal information, but existing large multimodal models (LMMs) fall short in understanding extremely long videos. Many works address this by reducing the number of visual tokens using visual resamplers. Alternatively, in this paper, we approach this problem from the perspective of the language model. By simply extrapolating the context length of the language backbone, we enable LMMs to comprehend orders of magnitude more visual tokens without any video training. We call this phenomenon long context transfer and carefully ablate its properties. To effectively measure LMMs' ability to generalize to long contexts in the vision modality, we develop V-NIAH (Visual Needle-In-A-Haystack), a purely synthetic long vision benchmark inspired by the language model's NIAH test. Our proposed Long Video Assistant (LongVA) can process 2000 frames or over 200K visual tokens without additional complexities. With its extended context length, LongVA achieves state-of-the-art performance on Video-MME among 7B-scale models by densely sampling more input frames. Our work is open-sourced at https://github.com/EvolvingLMMs-Lab/LongVA.