BIMBA: 長距離ビデオ質問応答のための選択的スキャン圧縮

BIMBA: Selective-Scan Compression for Long-Range Video Question Answering

March 12, 2025

著者: Md Mohaiminul Islam, Tushar Nagarajan, Huiyu Wang, Gedas Bertasius, Lorenzo Torresani

cs.AI

要旨

長尺動画におけるVideo Question Answering (VQA) の主要な課題は、多くの冗長なフレームから関連情報を抽出し、長距離依存関係をモデル化することです。自己注意機構はシーケンスモデリングの一般的な解決策を提供しますが、長尺動画における大量の時空間トークンに適用する場合、計算コストが非常に高くなります。これまでのほとんどの手法は、計算コストを削減するために圧縮戦略に依存しており、例えば疎なフレームサンプリングによって入力長を短縮したり、時空間プーリングによって大規模言語モデル (LLM) に渡される出力シーケンスを圧縮したりしています。しかし、これらの単純なアプローチは冗長な情報を過剰に表現し、重要なイベントや高速に発生する時空間パターンを見逃すことが多いです。本研究では、長尺動画を効率的に処理するための状態空間モデルであるBIMBAを提案します。我々のモデルは、選択的スキャンアルゴリズムを活用して、高次元の動画から重要な情報を効果的に選択し、それを効率的なLLM処理のための縮小されたトークンシーケンスに変換します。大規模な実験により、BIMBAがPerceptionTest、NExT-QA、EgoSchema、VNBench、LongVideoBench、Video-MMEを含む複数の長尺VQAベンチマークにおいて、最先端の精度を達成することが示されました。コードとモデルはhttps://sites.google.com/view/bimba-mllmで公開されています。

English

Video Question Answering (VQA) in long videos poses the key challenge of extracting relevant information and modeling long-range dependencies from many redundant frames. The self-attention mechanism provides a general solution for sequence modeling, but it has a prohibitive cost when applied to a massive number of spatiotemporal tokens in long videos. Most prior methods rely on compression strategies to lower the computational cost, such as reducing the input length via sparse frame sampling or compressing the output sequence passed to the large language model (LLM) via space-time pooling. However, these naive approaches over-represent redundant information and often miss salient events or fast-occurring space-time patterns. In this work, we introduce BIMBA, an efficient state-space model to handle long-form videos. Our model leverages the selective scan algorithm to learn to effectively select critical information from high-dimensional video and transform it into a reduced token sequence for efficient LLM processing. Extensive experiments demonstrate that BIMBA achieves state-of-the-art accuracy on multiple long-form VQA benchmarks, including PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench, and Video-MME. Code, and models are publicly available at https://sites.google.com/view/bimba-mllm.