Lange Contextoverdracht van Taal naar Visie

Samenvatting

Videosequenties bieden waardevolle temporele informatie, maar bestaande grote multimodale modellen (LMMs) schieten tekort in het begrijpen van extreem lange video's. Veel onderzoeken pakken dit aan door het aantal visuele tokens te verminderen met behulp van visuele resamplers. In dit artikel benaderen we dit probleem echter vanuit het perspectief van het taalmodel. Door simpelweg de contextlengte van het taalmodel uit te breiden, stellen we LMMs in staat om een veelvoud aan visuele tokens te begrijpen zonder enige videotraining. We noemen dit fenomeen 'long context transfer' en onderzoeken zorgvuldig de eigenschappen ervan. Om effectief te meten hoe goed LMMs kunnen generaliseren naar lange contexten in de visuele modaliteit, ontwikkelen we V-NIAH (Visual Needle-In-A-Haystack), een puur synthetische benchmark voor lange visuele contexten, geïnspireerd op de NIAH-test voor taalmodelen. Onze voorgestelde Long Video Assistant (LongVA) kan 2000 frames of meer dan 200K visuele tokens verwerken zonder extra complexiteit. Met zijn uitgebreide contextlengte behaalt LongVA state-of-the-art prestaties op Video-MME onder 7B-schaalmodellen door meer invoerframes dicht te bemonsteren. Ons werk is open-source beschikbaar op https://github.com/EvolvingLMMs-Lab/LongVA.

English

Video sequences offer valuable temporal information, but existing large multimodal models (LMMs) fall short in understanding extremely long videos. Many works address this by reducing the number of visual tokens using visual resamplers. Alternatively, in this paper, we approach this problem from the perspective of the language model. By simply extrapolating the context length of the language backbone, we enable LMMs to comprehend orders of magnitude more visual tokens without any video training. We call this phenomenon long context transfer and carefully ablate its properties. To effectively measure LMMs' ability to generalize to long contexts in the vision modality, we develop V-NIAH (Visual Needle-In-A-Haystack), a purely synthetic long vision benchmark inspired by the language model's NIAH test. Our proposed Long Video Assistant (LongVA) can process 2000 frames or over 200K visual tokens without additional complexities. With its extended context length, LongVA achieves state-of-the-art performance on Video-MME among 7B-scale models by densely sampling more input frames. Our work is open-sourced at https://github.com/EvolvingLMMs-Lab/LongVA.

Lange Contextoverdracht van Taal naar Visie

Long Context Transfer from Language to Vision

Samenvatting

Support