Bekijk elk frame tegelijkertijd: Video-Ma^2mba voor Efficiënte Langdurige Video Begrip met Multi-Axis Gradient Checkpointing

Look Every Frame All at Once: Video-Ma^2mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing

November 29, 2024

Auteurs: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Samenvatting

Met de groeiende schaal en complexiteit van videogegevens, brengt het efficiënt verwerken van lange videosequenties aanzienlijke uitdagingen met zich mee vanwege de kwadratische toename in geheugen- en rekenvereisten die gepaard gaan met bestaande op transformatoren gebaseerde Grote Multi-modale Modellen (GMM's). Om deze problemen aan te pakken, introduceren we Video-Ma^2mba, een nieuw architectuur dat Staatruimtemodellen (SSM's) integreert binnen het Mamba-2 framework, waarbij de aandachtsmechanismen worden vervangen. Dit maakt het mogelijk voor de GMM's om lineair op te schalen wat betreft tijd- en geheugenvereisten, waardoor het haalbaar wordt om langdurige videomateriaal te verwerken. Bovendien verbeteren we de geheugenefficiëntie door de introductie van de Multi-Axis Gradient Checkpointing (MA-GC) methode, die strategisch geheugen beheert door alleen essentiële activaties over meerdere rekenassen te behouden. Onze aanpak vermindert aanzienlijk de geheugenfootprint in vergelijking met standaard gradient checkpointing. Empirische analyses tonen aan dat Video-Ma^2mba uitgebreide videosequenties kan verwerken - equivalent aan miljoenen tokens of meer dan twee uur aan continue sequenties bij 1 FPS - op een enkele GPU. Door een gedetailleerde vastlegging van temporele dynamiek te behouden, verbetert ons model de nauwkeurigheid en relevantie van reacties bij taken voor het begrijpen van lange video's, waarbij aanzienlijke voordelen worden aangetoond ten opzichte van bestaande frameworks.

English

With the growing scale and complexity of video data, efficiently processing long video sequences poses significant challenges due to the quadratic increase in memory and computational demands associated with existing transformer-based Large Multi-modal Models (LMMs). To address these issues, we introduce Video-Ma^2mba, a novel architecture that incorporates State Space Models (SSMs) within the Mamba-2 framework, replacing the attention mechanisms. This allows the LMMs to scale linearly in terms of time and memory requirements, making it feasible to handle long-duration video content. Furthermore, we enhance the memory efficiency introducing the Multi-Axis Gradient Checkpointing (MA-GC) method, which strategically manages memory by retaining only essential activations across multiple computational axes. Our approach significantly reduces the memory footprint compared to standard gradient checkpointing. Empirical analyses show that Video-Ma^2mba can process extensive video sequences-equivalent to millions of tokens or over two hours of continuous sequences at 1 FPS-on a single GPU. By maintaining a detailed capture of temporal dynamics, our model improves the accuracy and relevance of responses in long video understanding tasks, demonstrating substantial advantages over existing frameworks.