Vamba: ハイブリッドMamba-Transformerを用いた1時間動画の理解

Vamba: Understanding Hour-Long Videos with Hybrid Mamba-Transformers

March 14, 2025

著者: Weiming Ren, Wentao Ma, Huan Yang, Cong Wei, Ge Zhang, Wenhu Chen

cs.AI

要旨

最先端のTransformerベースの大規模マルチモーダルモデル（LMM）は、因果的自己注意操作の二次的な複雑さのため、1時間に及ぶ動画入力を処理するのに苦労しており、トレーニングと推論の際に高い計算コストがかかります。既存のトークン圧縮ベースの手法は動画トークンの数を削減しますが、情報の損失を招きやすく、極端に長いシーケンスに対しては依然として非効率的です。本論文では、直交する方向性を探り、Mamba-2ブロックを用いて線形複雑度で動画トークンをエンコードするハイブリッドMamba-Transformerモデル（VAMBA）を構築します。トークン削減を行わずとも、VAMBAは単一のGPUで1024フレーム（640×360）以上をエンコード可能であり、Transformerベースのモデルでは256フレームしかエンコードできません。長い動画入力において、VAMBAはトレーニングと推論中のGPUメモリ使用量を少なくとも50％削減し、TransformerベースのLMMと比較してトレーニングステップあたりの速度をほぼ倍増させます。実験結果は、VAMBAが1時間に及ぶ動画理解ベンチマークLVBenchにおいて、従来の効率的な動画LMMを4.3％上回る精度を達成し、長短さまざまな動画理解タスクにおいても高い性能を維持することを示しています。

English

State-of-the-art transformer-based large multimodal models (LMMs) struggle to handle hour-long video inputs due to the quadratic complexity of the causal self-attention operations, leading to high computational costs during training and inference. Existing token compression-based methods reduce the number of video tokens but often incur information loss and remain inefficient for extremely long sequences. In this paper, we explore an orthogonal direction to build a hybrid Mamba-Transformer model (VAMBA) that employs Mamba-2 blocks to encode video tokens with linear complexity. Without any token reduction, VAMBA can encode more than 1024 frames (640times360) on a single GPU, while transformer-based models can only encode 256 frames. On long video input, VAMBA achieves at least 50% reduction in GPU memory usage during training and inference, and nearly doubles the speed per training step compared to transformer-based LMMs. Our experimental results demonstrate that VAMBA improves accuracy by 4.3% on the challenging hour-long video understanding benchmark LVBench over prior efficient video LMMs, and maintains strong performance on a broad spectrum of long and short video understanding tasks.