Transferencia de Contexto Extendido del Lenguaje a la Visión

Long Context Transfer from Language to Vision

June 24, 2024

Autores: Peiyuan Zhang, Kaichen Zhang, Bo Li, Guangtao Zeng, Jingkang Yang, Yuanhan Zhang, Ziyue Wang, Haoran Tan, Chunyuan Li, Ziwei Liu

cs.AI

Resumen

Las secuencias de video ofrecen valiosa información temporal, pero los modelos multimodales grandes (LMMs) existentes no logran comprender videos extremadamente largos. Muchos trabajos abordan esto reduciendo el número de tokens visuales mediante resamplers visuales. Alternativamente, en este artículo, abordamos este problema desde la perspectiva del modelo de lenguaje. Simplemente extrapolando la longitud de contexto del backbone del lenguaje, permitimos que los LMMs comprendan órdenes de magnitud más tokens visuales sin ningún entrenamiento en video. Llamamos a este fenómeno transferencia de contexto largo y analizamos cuidadosamente sus propiedades. Para medir efectivamente la capacidad de los LMMs de generalizar a contextos largos en la modalidad visual, desarrollamos V-NIAH (Visual Needle-In-A-Haystack), un benchmark sintético puramente visual inspirado en la prueba NIAH de los modelos de lenguaje. Nuestro Asistente de Video Largo propuesto (LongVA) puede procesar 2000 frames o más de 200K tokens visuales sin complejidades adicionales. Con su longitud de contexto extendida, LongVA logra un rendimiento de vanguardia en Video-MME entre los modelos de escala 7B al muestrear densamente más frames de entrada. Nuestro trabajo es de código abierto en https://github.com/EvolvingLMMs-Lab/LongVA.

English

Video sequences offer valuable temporal information, but existing large multimodal models (LMMs) fall short in understanding extremely long videos. Many works address this by reducing the number of visual tokens using visual resamplers. Alternatively, in this paper, we approach this problem from the perspective of the language model. By simply extrapolating the context length of the language backbone, we enable LMMs to comprehend orders of magnitude more visual tokens without any video training. We call this phenomenon long context transfer and carefully ablate its properties. To effectively measure LMMs' ability to generalize to long contexts in the vision modality, we develop V-NIAH (Visual Needle-In-A-Haystack), a purely synthetic long vision benchmark inspired by the language model's NIAH test. Our proposed Long Video Assistant (LongVA) can process 2000 frames or over 200K visual tokens without additional complexities. With its extended context length, LongVA achieves state-of-the-art performance on Video-MME among 7B-scale models by densely sampling more input frames. Our work is open-sourced at https://github.com/EvolvingLMMs-Lab/LongVA.