Рассмотрим каждый кадр сразу: Video-Ma^2mba для эффективного понимания длинных видео с многозначным градиентным чекпоинтингом.

Look Every Frame All at Once: Video-Ma^2mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing

November 29, 2024

Авторы: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Аннотация

С увеличением масштаба и сложности видеоданных эффективная обработка длинных видеопоследовательностей ставит перед собой значительные вызовы из-за квадратичного увеличения требований к памяти и вычислительным ресурсам, связанным с существующими моделями Large Multi-modal Models (LMMs) на основе трансформеров. Для решения этих проблем мы представляем Video-Ma^2mba, новую архитектуру, которая включает модели пространства состояний (SSMs) в рамках фреймворка Mamba-2, заменяя механизмы внимания. Это позволяет LMMs масштабироваться линейно по времени и требованиям памяти, что делает возможным обработку видеоконтента большой продолжительности. Более того, мы улучшаем эффективность памяти, вводя метод Multi-Axis Gradient Checkpointing (MA-GC), который стратегически управляет памятью, сохраняя только необходимые активации по всем вычислительным осям. Наш подход значительно сокращает объем памяти по сравнению со стандартным градиентным чекпоинтингом. Эмпирические анализы показывают, что Video-Ma^2mba может обрабатывать обширные видеопоследовательности - эквивалентные миллионам токенов или более двух часов непрерывных последовательностей на частоте 1 кадр в секунду - на одном графическом процессоре. Подробно захватывая временную динамику, наша модель улучшает точность и актуальность ответов в задачах понимания длинных видео, демонстрируя существенные преимущества по сравнению с существующими фреймворками.

English

With the growing scale and complexity of video data, efficiently processing long video sequences poses significant challenges due to the quadratic increase in memory and computational demands associated with existing transformer-based Large Multi-modal Models (LMMs). To address these issues, we introduce Video-Ma^2mba, a novel architecture that incorporates State Space Models (SSMs) within the Mamba-2 framework, replacing the attention mechanisms. This allows the LMMs to scale linearly in terms of time and memory requirements, making it feasible to handle long-duration video content. Furthermore, we enhance the memory efficiency introducing the Multi-Axis Gradient Checkpointing (MA-GC) method, which strategically manages memory by retaining only essential activations across multiple computational axes. Our approach significantly reduces the memory footprint compared to standard gradient checkpointing. Empirical analyses show that Video-Ma^2mba can process extensive video sequences-equivalent to millions of tokens or over two hours of continuous sequences at 1 FPS-on a single GPU. By maintaining a detailed capture of temporal dynamics, our model improves the accuracy and relevance of responses in long video understanding tasks, demonstrating substantial advantages over existing frameworks.