VideoMamba: Модель пространства состояний для эффективного понимания видео

VideoMamba: State Space Model for Efficient Video Understanding

March 11, 2024

Авторы: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, Yu Qiao

cs.AI

Аннотация

Для решения двойных вызовов локальной избыточности и глобальных зависимостей в понимании видео, в данной работе инновационно адаптирован метод Mamba к области видео. Предложенный VideoMamba преодолевает ограничения существующих трехмерных сверточных нейронных сетей и видео-трансформеров. Его оператор линейной сложности обеспечивает эффективное долгосрочное моделирование, что критически важно для понимания длинных видео высокого разрешения. Обширные оценки показывают четыре основные способности VideoMamba: (1) Масштабируемость в визуальной области без обширного предварительного обучения набора данных благодаря новой технике самодистилляции; (2) Чувствительность к распознаванию краткосрочных действий даже с тонкими различиями в движении; (3) Превосходство в понимании долгосрочных видео, демонстрируя значительные преимущества по сравнению с традиционными моделями на основе признаков; и (4) Совместимость с другими модальностями, демонстрируя устойчивость в мультимодальных контекстах. Благодаря этим отличительным преимуществам VideoMamba устанавливает новую точку отсчета для понимания видео, предлагая масштабируемое и эффективное решение для всестороннего понимания видео. Весь код и модели доступны по адресу https://github.com/OpenGVLab/VideoMamba.

English

Addressing the dual challenges of local redundancy and global dependencies in video understanding, this work innovatively adapts the Mamba to the video domain. The proposed VideoMamba overcomes the limitations of existing 3D convolution neural networks and video transformers. Its linear-complexity operator enables efficient long-term modeling, which is crucial for high-resolution long video understanding. Extensive evaluations reveal VideoMamba's four core abilities: (1) Scalability in the visual domain without extensive dataset pretraining, thanks to a novel self-distillation technique; (2) Sensitivity for recognizing short-term actions even with fine-grained motion differences; (3) Superiority in long-term video understanding, showcasing significant advancements over traditional feature-based models; and (4) Compatibility with other modalities, demonstrating robustness in multi-modal contexts. Through these distinct advantages, VideoMamba sets a new benchmark for video understanding, offering a scalable and efficient solution for comprehensive video understanding. All the code and models are available at https://github.com/OpenGVLab/VideoMamba.