Analise Todos os Quadros de Uma Vez: Video-Ma^2mba para uma Compreensão Eficiente de Vídeos de Longa Duração com Verificação de Ponto de Controle de Gradiente Multi-Eixo

Look Every Frame All at Once: Video-Ma^2mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing

November 29, 2024

Autores: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Resumo

Com a crescente escala e complexidade dos dados de vídeo, processar eficientemente sequências longas de vídeo apresenta desafios significativos devido ao aumento quadrático na demanda de memória e computacional associada aos Modelos Multimodais Grandes baseados em transformadores existentes (LMMs). Para lidar com essas questões, introduzimos o Video-Ma^2mba, uma arquitetura inovadora que incorpora Modelos de Espaço de Estado (SSMs) dentro do framework Mamba-2, substituindo os mecanismos de atenção. Isso permite que os LMMs aumentem linearmente em termos de requisitos de tempo e memória, tornando viável lidar com conteúdo de vídeo de longa duração. Além disso, aprimoramos a eficiência de memória introduzindo o método de Ponto de Verificação de Gradiente Multi-Eixo (MA-GC), que gerencia estrategicamente a memória retendo apenas ativações essenciais em múltiplos eixos computacionais. Nossa abordagem reduz significativamente a pegada de memória em comparação com o ponto de verificação de gradiente padrão. Análises empíricas mostram que o Video-Ma^2mba pode processar extensas sequências de vídeo-equivalentes a milhões de tokens ou mais de duas horas de sequências contínuas a 1 FPS-em uma única GPU. Ao manter uma captura detalhada da dinâmica temporal, nosso modelo melhora a precisão e relevância das respostas em tarefas de compreensão de vídeo longo, demonstrando vantagens substanciais sobre frameworks existentes.

English

With the growing scale and complexity of video data, efficiently processing long video sequences poses significant challenges due to the quadratic increase in memory and computational demands associated with existing transformer-based Large Multi-modal Models (LMMs). To address these issues, we introduce Video-Ma^2mba, a novel architecture that incorporates State Space Models (SSMs) within the Mamba-2 framework, replacing the attention mechanisms. This allows the LMMs to scale linearly in terms of time and memory requirements, making it feasible to handle long-duration video content. Furthermore, we enhance the memory efficiency introducing the Multi-Axis Gradient Checkpointing (MA-GC) method, which strategically manages memory by retaining only essential activations across multiple computational axes. Our approach significantly reduces the memory footprint compared to standard gradient checkpointing. Empirical analyses show that Video-Ma^2mba can process extensive video sequences-equivalent to millions of tokens or over two hours of continuous sequences at 1 FPS-on a single GPU. By maintaining a detailed capture of temporal dynamics, our model improves the accuracy and relevance of responses in long video understanding tasks, demonstrating substantial advantages over existing frameworks.