Trasferimento del Contesto Lungo dal Linguaggio alla Visione

Long Context Transfer from Language to Vision

June 24, 2024

Autori: Peiyuan Zhang, Kaichen Zhang, Bo Li, Guangtao Zeng, Jingkang Yang, Yuanhan Zhang, Ziyue Wang, Haoran Tan, Chunyuan Li, Ziwei Liu

cs.AI

Abstract

Le sequenze video offrono preziose informazioni temporali, ma gli attuali modelli multimodali di grandi dimensioni (LMM) non sono in grado di comprendere video estremamente lunghi. Molti lavori affrontano questo problema riducendo il numero di token visivi attraverso l'uso di ricampionatori visivi. In alternativa, in questo articolo, affrontiamo il problema dal punto di vista del modello linguistico. Semplicemente estrapolando la lunghezza del contesto del backbone linguistico, permettiamo agli LMM di comprendere un ordine di grandezza in più di token visivi senza alcun addestramento specifico sui video. Chiamiamo questo fenomeno trasferimento di contesto lungo e analizziamo attentamente le sue proprietà. Per misurare efficacemente la capacità degli LMM di generalizzare a contesti lunghi nella modalità visiva, sviluppiamo V-NIAH (Visual Needle-In-A-Haystack), un benchmark sintetico puramente visivo ispirato al test NIAH dei modelli linguistici. Il nostro Long Video Assistant (LongVA) proposto può elaborare 2000 frame o oltre 200K token visivi senza ulteriori complessità. Con la sua lunghezza di contesto estesa, LongVA raggiunge prestazioni all'avanguardia su Video-MME tra i modelli di scala 7B campionando in modo denso un numero maggiore di frame di input. Il nostro lavoro è open-source all'indirizzo https://github.com/EvolvingLMMs-Lab/LongVA.

English

Video sequences offer valuable temporal information, but existing large multimodal models (LMMs) fall short in understanding extremely long videos. Many works address this by reducing the number of visual tokens using visual resamplers. Alternatively, in this paper, we approach this problem from the perspective of the language model. By simply extrapolating the context length of the language backbone, we enable LMMs to comprehend orders of magnitude more visual tokens without any video training. We call this phenomenon long context transfer and carefully ablate its properties. To effectively measure LMMs' ability to generalize to long contexts in the vision modality, we develop V-NIAH (Visual Needle-In-A-Haystack), a purely synthetic long vision benchmark inspired by the language model's NIAH test. Our proposed Long Video Assistant (LongVA) can process 2000 frames or over 200K visual tokens without additional complexities. With its extended context length, LongVA achieves state-of-the-art performance on Video-MME among 7B-scale models by densely sampling more input frames. Our work is open-sourced at https://github.com/EvolvingLMMs-Lab/LongVA.