Vamba: Понимание часовых видеороликов с использованием гибридных Mamba-трансформеров

Vamba: Understanding Hour-Long Videos with Hybrid Mamba-Transformers

March 14, 2025

Авторы: Weiming Ren, Wentao Ma, Huan Yang, Cong Wei, Ge Zhang, Wenhu Chen

cs.AI

Аннотация

Современные крупные мультимодальные модели (LMMs), основанные на трансформерах, испытывают трудности при обработке часовых видеовходов из-за квадратичной сложности операций причинного самовнимания, что приводит к высоким вычислительным затратам во время обучения и вывода. Существующие методы сжатия токенов уменьшают количество видеотокенов, но часто сопровождаются потерей информации и остаются неэффективными для чрезвычайно длинных последовательностей. В данной статье мы исследуем альтернативное направление, создавая гибридную модель Mamba-Transformer (VAMBA), которая использует блоки Mamba-2 для кодирования видеотокенов с линейной сложностью. Без какого-либо сокращения токенов VAMBA способна кодировать более 1024 кадров (640×360) на одном GPU, в то время как модели на основе трансформеров могут обрабатывать только 256 кадров. При обработке длинных видеовходов VAMBA обеспечивает снижение использования памяти GPU на 50% во время обучения и вывода, а также почти удваивает скорость выполнения каждого шага обучения по сравнению с трансформерными LMMs. Наши экспериментальные результаты показывают, что VAMBA улучшает точность на 4.3% на сложном бенчмарке для понимания часовых видео LVBench по сравнению с предыдущими эффективными видеомоделями LMMs и сохраняет высокую производительность на широком спектре задач понимания как длинных, так и коротких видео.

English

State-of-the-art transformer-based large multimodal models (LMMs) struggle to handle hour-long video inputs due to the quadratic complexity of the causal self-attention operations, leading to high computational costs during training and inference. Existing token compression-based methods reduce the number of video tokens but often incur information loss and remain inefficient for extremely long sequences. In this paper, we explore an orthogonal direction to build a hybrid Mamba-Transformer model (VAMBA) that employs Mamba-2 blocks to encode video tokens with linear complexity. Without any token reduction, VAMBA can encode more than 1024 frames (640times360) on a single GPU, while transformer-based models can only encode 256 frames. On long video input, VAMBA achieves at least 50% reduction in GPU memory usage during training and inference, and nearly doubles the speed per training step compared to transformer-based LMMs. Our experimental results demonstrate that VAMBA improves accuracy by 4.3% on the challenging hour-long video understanding benchmark LVBench over prior efficient video LMMs, and maintains strong performance on a broad spectrum of long and short video understanding tasks.