Объединение специализированных визуальных кодировщиков для моделей языка на основе видео

Unifying Specialized Visual Encoders for Video Language Models

January 2, 2025

Авторы: Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

cs.AI

Аннотация

Недавнее появление больших языковых моделей (LLM) привнесло сложные способности рассуждения в область видео через модели больших языковых моделей для видео (VideoLLM). Однако VideoLLM в настоящее время полагается на один видео-кодировщик для всей визуальной обработки, что ограничивает количество и тип визуальной информации, которую можно передать LLM. Наш метод, MERV, Мульти-кодирование представления видео, вместо этого использует несколько замороженных визуальных кодировщиков для создания объединенного представления видео, обеспечивая VideoLLM полный набор специализированных визуальных знаний. Пространственно-временное выравнивание признаков из каждого кодировщика позволяет нам решать более широкий спектр вопросов понимания видео с открытым ответом и множественного выбора и превосходить предыдущие передовые работы. MERV на 3.7% точнее, чем Video-LLaVA по стандартному набору тестов понимания видео, а также имеет лучший показатель Video-ChatGPT. Мы также улучшаем SeViLA, предыдущий лучший показатель точности теста восприятия на нулевом этапе, на 2.2%. MERV вводит минимальное количество дополнительных параметров и обучается быстрее, чем эквивалентные методы с одним кодировщиком, параллельно обрабатывая визуальные данные. Наконец, мы предоставляем качественные доказательства того, что MERV успешно улавливает доменные знания из каждого из своих кодировщиков. Наши результаты предлагают многообещающие направления в использовании нескольких визионных кодировщиков для полного понимания видео.

English

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.