Vamba: Comprendere video della durata di un'ora con Mamba-Transformer ibridi

Vamba: Understanding Hour-Long Videos with Hybrid Mamba-Transformers

March 14, 2025

Autori: Weiming Ren, Wentao Ma, Huan Yang, Cong Wei, Ge Zhang, Wenhu Chen

cs.AI

Abstract

I modelli multimodali di grandi dimensioni (LMM) basati su trasformatori all'avanguardia faticano a gestire input video della durata di un'ora a causa della complessità quadratica delle operazioni di self-attention causale, che comporta costi computazionali elevati durante l'addestramento e l'inferenza. I metodi esistenti basati sulla compressione dei token riducono il numero di token video, ma spesso comportano una perdita di informazioni e rimangono inefficienti per sequenze estremamente lunghe. In questo articolo, esploriamo una direzione alternativa per costruire un modello ibrido Mamba-Transformer (VAMBA) che utilizza blocchi Mamba-2 per codificare i token video con complessità lineare. Senza alcuna riduzione dei token, VAMBA può codificare più di 1024 frame (640x360) su una singola GPU, mentre i modelli basati su trasformatori possono codificare solo 256 frame. Su input video lunghi, VAMBA ottiene una riduzione di almeno il 50% nell'uso della memoria GPU durante l'addestramento e l'inferenza, e quasi raddoppia la velocità per ogni passo di addestramento rispetto ai LMM basati su trasformatori. I nostri risultati sperimentali dimostrano che VAMBA migliora l'accuratezza del 4,3% sul benchmark impegnativo di comprensione video della durata di un'ora LVBench rispetto ai precedenti LMM video efficienti, e mantiene prestazioni solide su un'ampia gamma di task di comprensione video sia lunghi che brevi.

English

State-of-the-art transformer-based large multimodal models (LMMs) struggle to handle hour-long video inputs due to the quadratic complexity of the causal self-attention operations, leading to high computational costs during training and inference. Existing token compression-based methods reduce the number of video tokens but often incur information loss and remain inefficient for extremely long sequences. In this paper, we explore an orthogonal direction to build a hybrid Mamba-Transformer model (VAMBA) that employs Mamba-2 blocks to encode video tokens with linear complexity. Without any token reduction, VAMBA can encode more than 1024 frames (640times360) on a single GPU, while transformer-based models can only encode 256 frames. On long video input, VAMBA achieves at least 50% reduction in GPU memory usage during training and inference, and nearly doubles the speed per training step compared to transformer-based LMMs. Our experimental results demonstrate that VAMBA improves accuracy by 4.3% on the challenging hour-long video understanding benchmark LVBench over prior efficient video LMMs, and maintains strong performance on a broad spectrum of long and short video understanding tasks.