VideoMamba : Modèle d'espace d'état pour une compréhension vidéo efficace

VideoMamba: State Space Model for Efficient Video Understanding

March 11, 2024

Auteurs: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, Yu Qiao

cs.AI

Résumé

Face aux défis simultanés de la redondance locale et des dépendances globales dans la compréhension vidéo, ce travail adapte de manière innovante le Mamba au domaine vidéo. Le VideoMamba proposé surmonte les limitations des réseaux de neurones convolutifs 3D et des transformeurs vidéo existants. Son opérateur à complexité linéaire permet une modélisation efficace à long terme, essentielle pour la compréhension de vidéos longues et haute résolution. Des évaluations approfondies révèlent les quatre capacités fondamentales de VideoMamba : (1) Une scalabilité dans le domaine visuel sans prétraining extensif sur des jeux de données, grâce à une technique novatrice d'auto-distillation ; (2) Une sensibilité pour reconnaître des actions à court terme même avec des différences de mouvement fines ; (3) Une supériorité dans la compréhension de vidéos longues, montrant des avancées significatives par rapport aux modèles traditionnels basés sur des caractéristiques ; et (4) Une compatibilité avec d'autres modalités, démontrant une robustesse dans des contextes multi-modaux. Grâce à ces avantages distincts, VideoMamba établit un nouveau standard pour la compréhension vidéo, offrant une solution scalable et efficace pour une compréhension vidéo complète. Tous les codes et modèles sont disponibles à l'adresse https://github.com/OpenGVLab/VideoMamba.

English

Addressing the dual challenges of local redundancy and global dependencies in video understanding, this work innovatively adapts the Mamba to the video domain. The proposed VideoMamba overcomes the limitations of existing 3D convolution neural networks and video transformers. Its linear-complexity operator enables efficient long-term modeling, which is crucial for high-resolution long video understanding. Extensive evaluations reveal VideoMamba's four core abilities: (1) Scalability in the visual domain without extensive dataset pretraining, thanks to a novel self-distillation technique; (2) Sensitivity for recognizing short-term actions even with fine-grained motion differences; (3) Superiority in long-term video understanding, showcasing significant advancements over traditional feature-based models; and (4) Compatibility with other modalities, demonstrating robustness in multi-modal contexts. Through these distinct advantages, VideoMamba sets a new benchmark for video understanding, offering a scalable and efficient solution for comprehensive video understanding. All the code and models are available at https://github.com/OpenGVLab/VideoMamba.