BIMBA: Селективное сканирование сжатия для задач видео-вопросов с длинным диапазоном

BIMBA: Selective-Scan Compression for Long-Range Video Question Answering

March 12, 2025

Авторы: Md Mohaiminul Islam, Tushar Nagarajan, Huiyu Wang, Gedas Bertasius, Lorenzo Torresani

cs.AI

Аннотация

Видео-вопросно-ответные системы (VQA) для длинных видео сталкиваются с ключевой задачей извлечения релевантной информации и моделирования долгосрочных зависимостей из множества избыточных кадров. Механизм самовнимания предлагает общее решение для моделирования последовательностей, но его применение к огромному количеству пространственно-временных токенов в длинных видео связано с непомерно высокой вычислительной стоимостью. Большинство существующих методов полагаются на стратегии сжатия для снижения вычислительных затрат, такие как уменьшение длины входных данных за счет разреженной выборки кадров или сжатие выходной последовательности, передаваемой в большую языковую модель (LLM), с помощью пространственно-временного пулинга. Однако такие упрощенные подходы избыточно представляют повторяющуюся информацию и часто упускают важные события или быстро меняющиеся пространственно-временные паттерны. В данной работе мы представляем BIMBA — эффективную модель пространства состояний для обработки длинных видео. Наша модель использует алгоритм избирательного сканирования, чтобы научиться эффективно выбирать критически важную информацию из высокоразмерного видео и преобразовывать её в сокращенную последовательность токенов для эффективной обработки LLM. Многочисленные эксперименты демонстрируют, что BIMBA достигает наивысшей точности на нескольких бенчмарках для длинных видео-VQA, включая PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench и Video-MME. Код и модели доступны по адресу https://sites.google.com/view/bimba-mllm.

English

Video Question Answering (VQA) in long videos poses the key challenge of extracting relevant information and modeling long-range dependencies from many redundant frames. The self-attention mechanism provides a general solution for sequence modeling, but it has a prohibitive cost when applied to a massive number of spatiotemporal tokens in long videos. Most prior methods rely on compression strategies to lower the computational cost, such as reducing the input length via sparse frame sampling or compressing the output sequence passed to the large language model (LLM) via space-time pooling. However, these naive approaches over-represent redundant information and often miss salient events or fast-occurring space-time patterns. In this work, we introduce BIMBA, an efficient state-space model to handle long-form videos. Our model leverages the selective scan algorithm to learn to effectively select critical information from high-dimensional video and transform it into a reduced token sequence for efficient LLM processing. Extensive experiments demonstrate that BIMBA achieves state-of-the-art accuracy on multiple long-form VQA benchmarks, including PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench, and Video-MME. Code, and models are publicly available at https://sites.google.com/view/bimba-mllm.