Video Mamba Suite: Modelo de Espaço de Estados como uma Alternativa Versátil para Compreensão de Vídeo

Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding

March 14, 2024

Autores: Guo Chen, Yifei Huang, Jilan Xu, Baoqi Pei, Zhe Chen, Zhiqi Li, Jiahao Wang, Kunchang Li, Tong Lu, Limin Wang

cs.AI

Resumo

Compreender vídeos é uma das direções fundamentais na pesquisa de visão computacional, com esforços extensivos dedicados à exploração de diversas arquiteturas, como RNN, CNN 3D e Transformers. A arquitetura recém-proposta de modelo de espaço de estados, por exemplo, Mamba, mostra características promissoras para estender seu sucesso na modelagem de sequências longas para a modelagem de vídeos. Para avaliar se o Mamba pode ser uma alternativa viável aos Transformers no domínio de compreensão de vídeos, neste trabalho, conduzimos um conjunto abrangente de estudos, explorando diferentes papéis que o Mamba pode desempenhar na modelagem de vídeos, enquanto investigamos diversas tarefas em que o Mamba poderia demonstrar superioridade. Categorizamos o Mamba em quatro papéis para modelagem de vídeos, derivando um Conjunto de Vídeo Mamba composto por 14 modelos/módulos, e os avaliamos em 12 tarefas de compreensão de vídeos. Nossos experimentos extensivos revelam o forte potencial do Mamba tanto em tarefas exclusivas de vídeo quanto em tarefas de vídeo-linguagem, ao mesmo tempo que mostram promissores trade-offs entre eficiência e desempenho. Esperamos que este trabalho possa fornecer dados valiosos e insights para pesquisas futuras sobre compreensão de vídeos. O código está disponível publicamente: https://github.com/OpenGVLab/video-mamba-suite.

English

Understanding videos is one of the fundamental directions in computer vision research, with extensive efforts dedicated to exploring various architectures such as RNN, 3D CNN, and Transformers. The newly proposed architecture of state space model, e.g., Mamba, shows promising traits to extend its success in long sequence modeling to video modeling. To assess whether Mamba can be a viable alternative to Transformers in the video understanding domain, in this work, we conduct a comprehensive set of studies, probing different roles Mamba can play in modeling videos, while investigating diverse tasks where Mamba could exhibit superiority. We categorize Mamba into four roles for modeling videos, deriving a Video Mamba Suite composed of 14 models/modules, and evaluating them on 12 video understanding tasks. Our extensive experiments reveal the strong potential of Mamba on both video-only and video-language tasks while showing promising efficiency-performance trade-offs. We hope this work could provide valuable data points and insights for future research on video understanding. Code is public: https://github.com/OpenGVLab/video-mamba-suite.