Regardez chaque image en même temps : Video-Ma^2mba pour une compréhension efficace des vidéos longues avec des points de contrôle de gradient multi-axes.

Look Every Frame All at Once: Video-Ma^2mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing

November 29, 2024

Auteurs: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Résumé

Avec l'augmentation de l'échelle et de la complexité des données vidéo, le traitement efficace de longues séquences vidéo pose des défis importants en raison de l'augmentation quadratique des besoins en mémoire et en calcul associée aux modèles multimodaux volumineux basés sur les transformateurs existants (LMM). Pour résoudre ces problèmes, nous introduisons Video-Ma^2mba, une architecture novatrice qui intègre des Modèles d'Espace d'État (SSM) au sein du cadre Mamba-2, remplaçant les mécanismes d'attention. Cela permet aux LMM de s'étendre de manière linéaire en termes d'exigences en temps et en mémoire, rendant possible la manipulation de contenus vidéo de longue durée. De plus, nous améliorons l'efficacité mémoire en introduisant la méthode de Point de Contrôle de Gradients Multi-Axes (MA-GC), qui gère stratégiquement la mémoire en ne conservant que les activations essentielles sur plusieurs axes computationnels. Notre approche réduit significativement l'empreinte mémoire par rapport au point de contrôle de gradients standard. Les analyses empiriques montrent que Video-Ma^2mba peut traiter des séquences vidéo étendues - équivalentes à des millions de jetons ou à plus de deux heures de séquences continues à 1 FPS - sur un seul GPU. En capturant en détail les dynamiques temporelles, notre modèle améliore la précision et la pertinence des réponses dans les tâches de compréhension de vidéos longues, démontrant des avantages substantiels par rapport aux cadres existants.

English

With the growing scale and complexity of video data, efficiently processing long video sequences poses significant challenges due to the quadratic increase in memory and computational demands associated with existing transformer-based Large Multi-modal Models (LMMs). To address these issues, we introduce Video-Ma^2mba, a novel architecture that incorporates State Space Models (SSMs) within the Mamba-2 framework, replacing the attention mechanisms. This allows the LMMs to scale linearly in terms of time and memory requirements, making it feasible to handle long-duration video content. Furthermore, we enhance the memory efficiency introducing the Multi-Axis Gradient Checkpointing (MA-GC) method, which strategically manages memory by retaining only essential activations across multiple computational axes. Our approach significantly reduces the memory footprint compared to standard gradient checkpointing. Empirical analyses show that Video-Ma^2mba can process extensive video sequences-equivalent to millions of tokens or over two hours of continuous sequences at 1 FPS-on a single GPU. By maintaining a detailed capture of temporal dynamics, our model improves the accuracy and relevance of responses in long video understanding tasks, demonstrating substantial advantages over existing frameworks.