VideoMamba: Modelo de Espaço de Estados para Compreensão Eficiente de Vídeos
VideoMamba: State Space Model for Efficient Video Understanding
March 11, 2024
Autores: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, Yu Qiao
cs.AI
Resumo
Abordando os desafios duplos de redundância local e dependências globais na compreensão de vídeo, este trabalho adapta de forma inovadora o Mamba para o domínio de vídeo. O VideoMamba proposto supera as limitações das redes neurais convolucionais 3D e dos transformadores de vídeo existentes. Seu operador de complexidade linear permite a modelagem eficiente de longo prazo, o que é crucial para a compreensão de vídeos longos em alta resolução. Avaliações extensivas revelam as quatro habilidades principais do VideoMamba: (1) Escalabilidade no domínio visual sem a necessidade de pré-treinamento extensivo em conjuntos de dados, graças a uma nova técnica de auto-distilação; (2) Sensibilidade para reconhecer ações de curto prazo, mesmo com diferenças sutis de movimento; (3) Superioridade na compreensão de vídeos de longo prazo, mostrando avanços significativos em relação aos modelos tradicionais baseados em características; e (4) Compatibilidade com outras modalidades, demonstrando robustez em contextos multi-modais. Através dessas vantagens distintas, o VideoMamba estabelece um novo padrão para a compreensão de vídeo, oferecendo uma solução escalável e eficiente para a compreensão abrangente de vídeos. Todo o código e modelos estão disponíveis em https://github.com/OpenGVLab/VideoMamba.
English
Addressing the dual challenges of local redundancy and global dependencies in
video understanding, this work innovatively adapts the Mamba to the video
domain. The proposed VideoMamba overcomes the limitations of existing 3D
convolution neural networks and video transformers. Its linear-complexity
operator enables efficient long-term modeling, which is crucial for
high-resolution long video understanding. Extensive evaluations reveal
VideoMamba's four core abilities: (1) Scalability in the visual domain without
extensive dataset pretraining, thanks to a novel self-distillation technique;
(2) Sensitivity for recognizing short-term actions even with fine-grained
motion differences; (3) Superiority in long-term video understanding,
showcasing significant advancements over traditional feature-based models; and
(4) Compatibility with other modalities, demonstrating robustness in
multi-modal contexts. Through these distinct advantages, VideoMamba sets a new
benchmark for video understanding, offering a scalable and efficient solution
for comprehensive video understanding. All the code and models are available at
https://github.com/OpenGVLab/VideoMamba.