Долгосрочная передача контекста от языка к зрению

Long Context Transfer from Language to Vision

June 24, 2024

Авторы: Peiyuan Zhang, Kaichen Zhang, Bo Li, Guangtao Zeng, Jingkang Yang, Yuanhan Zhang, Ziyue Wang, Haoran Tan, Chunyuan Li, Ziwei Liu

cs.AI

Аннотация

Видеоряды предоставляют ценную временную информацию, но существующие крупные мультимодальные модели (LMM) не справляются с пониманием чрезвычайно длинных видео. Многие работы решают эту проблему, уменьшая количество визуальных токенов с помощью визуальных ресэмплеров. В данной статье мы подходим к этой проблеме с точки зрения языковой модели. Просто экстраполируя длину контекста языкового основания, мы позволяем LMM понимать порядки большего количества визуальных токенов без какого-либо видеообучения. Мы называем это явление передачей длинного контекста и внимательно анализируем его свойства. Для эффективного измерения способности LMM обобщать на длинные контексты в модальности зрения мы разрабатываем V-NIAH (Visual Needle-In-A-Haystack), чисто синтетический длинный визуальный бенчмарк, вдохновленный тестом NIAH языковой модели. Наш предложенный Длинный Видеоассистент (LongVA) может обрабатывать 2000 кадров или более 200 тыс. визуальных токенов без дополнительных сложностей. Благодаря расширенной длине контекста LongVA достигает передовых результатов на Video-MME среди моделей масштаба 7 млрд, плотно выбирая больше входных кадров. Наша работа доступна в открытом доступе на https://github.com/EvolvingLMMs-Lab/LongVA.

English

Video sequences offer valuable temporal information, but existing large multimodal models (LMMs) fall short in understanding extremely long videos. Many works address this by reducing the number of visual tokens using visual resamplers. Alternatively, in this paper, we approach this problem from the perspective of the language model. By simply extrapolating the context length of the language backbone, we enable LMMs to comprehend orders of magnitude more visual tokens without any video training. We call this phenomenon long context transfer and carefully ablate its properties. To effectively measure LMMs' ability to generalize to long contexts in the vision modality, we develop V-NIAH (Visual Needle-In-A-Haystack), a purely synthetic long vision benchmark inspired by the language model's NIAH test. Our proposed Long Video Assistant (LongVA) can process 2000 frames or over 200K visual tokens without additional complexities. With its extended context length, LongVA achieves state-of-the-art performance on Video-MME among 7B-scale models by densely sampling more input frames. Our work is open-sourced at https://github.com/EvolvingLMMs-Lab/LongVA.