Betrachten Sie jedes Frame gleichzeitig: Video-Ma^2mba für effizientes Verstehen von Langformvideos mit Multi-Achsen-Gradienten-Checkpointing.

Look Every Frame All at Once: Video-Ma^2mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing

November 29, 2024

Autoren: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Zusammenfassung

Mit dem zunehmenden Umfang und der Komplexität von Videodaten stellen die effiziente Verarbeitung langer Videosequenzen aufgrund des quadratischen Anstiegs des Speicher- und Rechenbedarfs bei bestehenden Transformer-basierten Large Multi-modal Models (LMMs) erhebliche Herausforderungen dar. Um diesen Problemen zu begegnen, stellen wir Video-Ma^2mba vor, eine neuartige Architektur, die State Space Models (SSMs) innerhalb des Mamba-2-Frameworks integriert und die Aufmerksamkeitsmechanismen ersetzt. Dies ermöglicht den LMMs, linear in Bezug auf Zeit- und Speicheranforderungen zu skalieren, was es ermöglicht, Videoinhalte mit langer Dauer zu verarbeiten. Darüber hinaus verbessern wir die Speichereffizienz durch die Einführung der Multi-Axis Gradient Checkpointing (MA-GC) Methode, die den Speicher strategisch verwaltet, indem nur wesentliche Aktivierungen über mehrere Rechenachsen hinweg beibehalten werden. Unser Ansatz reduziert den Speicherbedarf signifikant im Vergleich zum Standard-Gradient-Checkpointing. Empirische Analysen zeigen, dass Video-Ma^2mba umfangreiche Videosequenzen verarbeiten kann - äquivalent zu Millionen von Tokens oder über zwei Stunden kontinuierlicher Sequenzen mit 1 FPS - auf einer einzelnen GPU. Durch die detaillierte Erfassung der zeitlichen Dynamik verbessert unser Modell die Genauigkeit und Relevanz von Antworten bei langen Videoverständnisaufgaben und zeigt wesentliche Vorteile gegenüber bestehenden Frameworks.

English

With the growing scale and complexity of video data, efficiently processing long video sequences poses significant challenges due to the quadratic increase in memory and computational demands associated with existing transformer-based Large Multi-modal Models (LMMs). To address these issues, we introduce Video-Ma^2mba, a novel architecture that incorporates State Space Models (SSMs) within the Mamba-2 framework, replacing the attention mechanisms. This allows the LMMs to scale linearly in terms of time and memory requirements, making it feasible to handle long-duration video content. Furthermore, we enhance the memory efficiency introducing the Multi-Axis Gradient Checkpointing (MA-GC) method, which strategically manages memory by retaining only essential activations across multiple computational axes. Our approach significantly reduces the memory footprint compared to standard gradient checkpointing. Empirical analyses show that Video-Ma^2mba can process extensive video sequences-equivalent to millions of tokens or over two hours of continuous sequences at 1 FPS-on a single GPU. By maintaining a detailed capture of temporal dynamics, our model improves the accuracy and relevance of responses in long video understanding tasks, demonstrating substantial advantages over existing frameworks.