VideoMamba: Modelo de Espacio de Estados para la Comprensión Eficiente de Videos

VideoMamba: State Space Model for Efficient Video Understanding

March 11, 2024

Autores: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, Yu Qiao

cs.AI

Resumen

Abordando los desafíos duales de redundancia local y dependencias globales en la comprensión de video, este trabajo adapta de manera innovadora el Mamba al dominio del video. El VideoMamba propuesto supera las limitaciones de las redes neuronales convolucionales 3D y los transformadores de video existentes. Su operador de complejidad lineal permite un modelado eficiente a largo plazo, lo cual es crucial para la comprensión de videos largos de alta resolución. Evaluaciones exhaustivas revelan las cuatro capacidades principales de VideoMamba: (1) Escalabilidad en el dominio visual sin necesidad de un extenso preentrenamiento de conjuntos de datos, gracias a una novedosa técnica de auto-distilación; (2) Sensibilidad para reconocer acciones a corto plazo incluso con diferencias de movimiento sutiles; (3) Superioridad en la comprensión de videos a largo plazo, mostrando avances significativos sobre los modelos tradicionales basados en características; y (4) Compatibilidad con otras modalidades, demostrando robustez en contextos multimodales. A través de estas ventajas distintivas, VideoMamba establece un nuevo referente para la comprensión de video, ofreciendo una solución escalable y eficiente para una comprensión integral de video. Todo el código y los modelos están disponibles en https://github.com/OpenGVLab/VideoMamba.

English

Addressing the dual challenges of local redundancy and global dependencies in video understanding, this work innovatively adapts the Mamba to the video domain. The proposed VideoMamba overcomes the limitations of existing 3D convolution neural networks and video transformers. Its linear-complexity operator enables efficient long-term modeling, which is crucial for high-resolution long video understanding. Extensive evaluations reveal VideoMamba's four core abilities: (1) Scalability in the visual domain without extensive dataset pretraining, thanks to a novel self-distillation technique; (2) Sensitivity for recognizing short-term actions even with fine-grained motion differences; (3) Superiority in long-term video understanding, showcasing significant advancements over traditional feature-based models; and (4) Compatibility with other modalities, demonstrating robustness in multi-modal contexts. Through these distinct advantages, VideoMamba sets a new benchmark for video understanding, offering a scalable and efficient solution for comprehensive video understanding. All the code and models are available at https://github.com/OpenGVLab/VideoMamba.