Видео-Панда: Параметро-эффективное выравнивание для моделей видео-языка без кодировщика

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

December 24, 2024

Авторы: Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

cs.AI

Аннотация

Мы представляем эффективный подход без использования кодировщика для понимания видео-языка, который достигает конкурентоспособной производительности при значительном снижении вычислительной нагрузки. Текущие модели видео-языка обычно зависят от массивных кодировщиков изображений (300M-1.1B параметров) или видео-кодировщиков (1B-1.4B параметров), что создает значительную вычислительную нагрузку при обработке многофреймовых видео. Наш метод представляет новый блок пространственно-временного выравнивания (STAB), который напрямую обрабатывает видео-входы без необходимости предварительно обученных кодировщиков, используя всего 45M параметров для визуальной обработки - как минимум в 6.5 раз меньше по сравнению с традиционными подходами. Архитектура STAB объединяет локальное пространственно-временное кодирование для извлечения детализированных признаков, эффективное пространственное уменьшение через обученное внимание и отдельные механизмы для моделирования отношений на уровне кадра и видео. Наша модель достигает сравнимой или более высокой производительности по сравнению с подходами на основе кодировщика для ответов на вопросы по видео на стандартных бенчмарках. Оценка ответов на вопросы по видео с детализацией демонстрирует эффективность нашей модели, превосходя подходы на основе кодировщика Video-ChatGPT и Video-LLaVA в ключевых аспектах, таких как правильность и понимание времени. Обширные исследования абляции подтверждают наши архитектурные выборы и демонстрируют эффективность нашего подхода к пространственно-временному моделированию, обеспечивая скорости обработки в 3-4 раза быстрее, чем предыдущие методы. Код доступен по ссылке https://github.com/jh-yi/Video-Panda.

English

We present an efficient encoder-free approach for video-language understanding that achieves competitive performance while significantly reducing computational overhead. Current video-language models typically rely on heavyweight image encoders (300M-1.1B parameters) or video encoders (1B-1.4B parameters), creating a substantial computational burden when processing multi-frame videos. Our method introduces a novel Spatio-Temporal Alignment Block (STAB) that directly processes video inputs without requiring pre-trained encoders while using only 45M parameters for visual processing - at least a 6.5times reduction compared to traditional approaches. The STAB architecture combines Local Spatio-Temporal Encoding for fine-grained feature extraction, efficient spatial downsampling through learned attention and separate mechanisms for modeling frame-level and video-level relationships. Our model achieves comparable or superior performance to encoder-based approaches for open-ended video question answering on standard benchmarks. The fine-grained video question-answering evaluation demonstrates our model's effectiveness, outperforming the encoder-based approaches Video-ChatGPT and Video-LLaVA in key aspects like correctness and temporal understanding. Extensive ablation studies validate our architectural choices and demonstrate the effectiveness of our spatio-temporal modeling approach while achieving 3-4times faster processing speeds than previous methods. Code is available at https://github.com/jh-yi/Video-Panda.