Video Mamba Suite: State Space Model als een veelzijdig alternatief voor videobegrip

Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding

March 14, 2024

Auteurs: Guo Chen, Yifei Huang, Jilan Xu, Baoqi Pei, Zhe Chen, Zhiqi Li, Jiahao Wang, Kunchang Li, Tong Lu, Limin Wang

cs.AI

Samenvatting

Het begrijpen van video's is een van de fundamentele richtingen in het onderzoek naar computervisie, met uitgebreide inspanningen gericht op het verkennen van verschillende architecturen zoals RNN, 3D CNN en Transformers. De nieuw voorgestelde architectuur van het state space model, bijvoorbeeld Mamba, toont veelbelovende eigenschappen om zijn succes in het modelleren van lange sequenties uit te breiden naar videomodellering. Om te beoordelen of Mamba een levensvatbaar alternatief kan zijn voor Transformers in het domein van videobegrip, voeren we in dit werk een uitgebreide reeks studies uit, waarbij we verschillende rollen onderzoeken die Mamba kan spelen in het modelleren van video's, terwijl we diverse taken onderzoeken waar Mamba superieur zou kunnen zijn. We categoriseren Mamba in vier rollen voor het modelleren van video's, leiden een Video Mamba Suite af die bestaat uit 14 modellen/modules, en evalueren deze op 12 videobegriptaken. Onze uitgebreide experimenten onthullen het sterke potentieel van Mamba op zowel video-only als video-taal taken, terwijl het veelbelovende efficiëntie-prestatieafwegingen laat zien. We hopen dat dit werk waardevolle datapunten en inzichten kan bieden voor toekomstig onderzoek naar videobegrip. Code is openbaar: https://github.com/OpenGVLab/video-mamba-suite.

English

Understanding videos is one of the fundamental directions in computer vision research, with extensive efforts dedicated to exploring various architectures such as RNN, 3D CNN, and Transformers. The newly proposed architecture of state space model, e.g., Mamba, shows promising traits to extend its success in long sequence modeling to video modeling. To assess whether Mamba can be a viable alternative to Transformers in the video understanding domain, in this work, we conduct a comprehensive set of studies, probing different roles Mamba can play in modeling videos, while investigating diverse tasks where Mamba could exhibit superiority. We categorize Mamba into four roles for modeling videos, deriving a Video Mamba Suite composed of 14 models/modules, and evaluating them on 12 video understanding tasks. Our extensive experiments reveal the strong potential of Mamba on both video-only and video-language tasks while showing promising efficiency-performance trade-offs. We hope this work could provide valuable data points and insights for future research on video understanding. Code is public: https://github.com/OpenGVLab/video-mamba-suite.