BIMBA: Compressione a Scansione Selettiva per il Question Answering su Video a Lungo Raggio

BIMBA: Selective-Scan Compression for Long-Range Video Question Answering

March 12, 2025

Autori: Md Mohaiminul Islam, Tushar Nagarajan, Huiyu Wang, Gedas Bertasius, Lorenzo Torresani

cs.AI

Abstract

Il Video Question Answering (VQA) nei video lunghi presenta la sfida chiave di estrarre informazioni rilevanti e modellare dipendenze a lungo raggio da molti fotogrammi ridondanti. Il meccanismo di self-attention fornisce una soluzione generale per la modellazione di sequenze, ma ha un costo proibitivo quando applicato a un numero massiccio di token spazio-temporali nei video lunghi. La maggior parte dei metodi precedenti si basa su strategie di compressione per ridurre il costo computazionale, come ridurre la lunghezza dell'input tramite campionamento sparso di fotogrammi o comprimere la sequenza di output passata al large language model (LLM) tramite pooling spazio-temporale. Tuttavia, questi approcci ingenui sovrarappresentano informazioni ridondanti e spesso perdono eventi salienti o pattern spazio-temporali rapidi. In questo lavoro, introduciamo BIMBA, un modello efficiente di stato-spazio per gestire video di lunga durata. Il nostro modello sfrutta l'algoritmo di scansione selettiva per imparare a selezionare efficacemente informazioni critiche da video ad alta dimensionalità e trasformarle in una sequenza ridotta di token per un'elaborazione efficiente da parte del LLM. Esperimenti estensivi dimostrano che BIMBA raggiunge un'accuratezza all'avanguardia su molteplici benchmark di VQA per video lunghi, tra cui PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench e Video-MME. Codice e modelli sono disponibili pubblicamente su https://sites.google.com/view/bimba-mllm.

English

Video Question Answering (VQA) in long videos poses the key challenge of extracting relevant information and modeling long-range dependencies from many redundant frames. The self-attention mechanism provides a general solution for sequence modeling, but it has a prohibitive cost when applied to a massive number of spatiotemporal tokens in long videos. Most prior methods rely on compression strategies to lower the computational cost, such as reducing the input length via sparse frame sampling or compressing the output sequence passed to the large language model (LLM) via space-time pooling. However, these naive approaches over-represent redundant information and often miss salient events or fast-occurring space-time patterns. In this work, we introduce BIMBA, an efficient state-space model to handle long-form videos. Our model leverages the selective scan algorithm to learn to effectively select critical information from high-dimensional video and transform it into a reduced token sequence for efficient LLM processing. Extensive experiments demonstrate that BIMBA achieves state-of-the-art accuracy on multiple long-form VQA benchmarks, including PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench, and Video-MME. Code, and models are publicly available at https://sites.google.com/view/bimba-mllm.