VideoMamba: Zustandsraummodell für effizientes Videoverständnis

VideoMamba: State Space Model for Efficient Video Understanding

March 11, 2024

Autoren: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, Yu Qiao

cs.AI

Zusammenfassung

Um die dualen Herausforderungen der lokalen Redundanz und globalen Abhängigkeiten im Bereich der Videoverarbeitung anzugehen, passt diese Arbeit innovativ den Mamba an das Video-Domäne an. Der vorgeschlagene VideoMamba überwindet die Einschränkungen bestehender 3D-Faltungsneuronale Netzwerke und Video-Transformer. Sein linear-komplexer Operator ermöglicht eine effiziente Langzeitmodellierung, die für das Verständnis von hochauflösenden Langvideos entscheidend ist. Umfangreiche Bewertungen enthüllen die vier Kernfähigkeiten von VideoMamba: (1) Skalierbarkeit im visuellen Bereich ohne umfangreiches Datenvortraining dank einer neuartigen Selbstdestillations-Technik; (2) Empfindlichkeit zur Erkennung kurzfristiger Aktionen selbst bei feinkörnigen Bewegungsunterschieden; (3) Überlegenheit im Langzeit-Videoverständnis, die signifikante Fortschritte gegenüber traditionellen Merkmal-basierten Modellen zeigt; und (4) Kompatibilität mit anderen Modalitäten, die Robustheit in multimodalen Kontexten demonstriert. Durch diese klaren Vorteile setzt VideoMamba einen neuen Maßstab für das Videoverständnis und bietet eine skalierbare und effiziente Lösung für umfassendes Videoverständnis. Der gesamte Code und die Modelle sind unter https://github.com/OpenGVLab/VideoMamba verfügbar.

English

Addressing the dual challenges of local redundancy and global dependencies in video understanding, this work innovatively adapts the Mamba to the video domain. The proposed VideoMamba overcomes the limitations of existing 3D convolution neural networks and video transformers. Its linear-complexity operator enables efficient long-term modeling, which is crucial for high-resolution long video understanding. Extensive evaluations reveal VideoMamba's four core abilities: (1) Scalability in the visual domain without extensive dataset pretraining, thanks to a novel self-distillation technique; (2) Sensitivity for recognizing short-term actions even with fine-grained motion differences; (3) Superiority in long-term video understanding, showcasing significant advancements over traditional feature-based models; and (4) Compatibility with other modalities, demonstrating robustness in multi-modal contexts. Through these distinct advantages, VideoMamba sets a new benchmark for video understanding, offering a scalable and efficient solution for comprehensive video understanding. All the code and models are available at https://github.com/OpenGVLab/VideoMamba.