VideoMamba: State Space Model voor Efficiënte Videobegrip

VideoMamba: State Space Model for Efficient Video Understanding

March 11, 2024

Auteurs: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, Yu Qiao

cs.AI

Samenvatting

Het aanpakken van de dubbele uitdagingen van lokale redundantie en globale afhankelijkheden in videobegrip, past dit werk innovatief de Mamba aan voor het videodomein. De voorgestelde VideoMamba overwint de beperkingen van bestaande 3D-convolutionele neurale netwerken en videotransformers. De lineaire complexiteit van de operator maakt efficiënte modellering op lange termijn mogelijk, wat cruciaal is voor het begrijpen van lange video's met hoge resolutie. Uitgebreide evaluaties onthullen vier kernvaardigheden van VideoMamba: (1) Schaalbaarheid in het visuele domein zonder uitgebreide voorafgaande training van datasets, dankzij een nieuwe zelfdistillatietechniek; (2) Gevoeligheid voor het herkennen van kortetermijnacties, zelfs bij fijnmazige bewegingsverschillen; (3) Superioriteit in het begrijpen van lange video's, met aanzienlijke vooruitgang ten opzichte van traditionele op kenmerken gebaseerde modellen; en (4) Compatibiliteit met andere modaliteiten, wat robuustheid aantoont in multimodale contexten. Door deze onderscheidende voordelen stelt VideoMamba een nieuwe standaard voor videobegrip en biedt het een schaalbare en efficiënte oplossing voor uitgebreid videobegrip. Alle code en modellen zijn beschikbaar op https://github.com/OpenGVLab/VideoMamba.

English

Addressing the dual challenges of local redundancy and global dependencies in video understanding, this work innovatively adapts the Mamba to the video domain. The proposed VideoMamba overcomes the limitations of existing 3D convolution neural networks and video transformers. Its linear-complexity operator enables efficient long-term modeling, which is crucial for high-resolution long video understanding. Extensive evaluations reveal VideoMamba's four core abilities: (1) Scalability in the visual domain without extensive dataset pretraining, thanks to a novel self-distillation technique; (2) Sensitivity for recognizing short-term actions even with fine-grained motion differences; (3) Superiority in long-term video understanding, showcasing significant advancements over traditional feature-based models; and (4) Compatibility with other modalities, demonstrating robustness in multi-modal contexts. Through these distinct advantages, VideoMamba sets a new benchmark for video understanding, offering a scalable and efficient solution for comprehensive video understanding. All the code and models are available at https://github.com/OpenGVLab/VideoMamba.