Mavors: Многогранулярное представление видео для мультимодальных больших языковых моделей

Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

April 14, 2025

Авторы: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

cs.AI

Аннотация

Понимание длинных видеоконтекстов в мультимодальных больших языковых моделях (MLLMs) сталкивается с критической проблемой: необходимостью баланса между вычислительной эффективностью и сохранением детализированных пространственно-временных паттернов. Существующие подходы (например, разреженная выборка, плотная выборка с низким разрешением и сжатие токенов) страдают от значительной потери информации в динамике временных изменений, пространственных деталях или тонких взаимодействиях, особенно в видео со сложным движением или изменяющимся разрешением. Для решения этой проблемы мы предлагаем Mavors — новый фреймворк, который вводит мультигранулярное представление видео для целостного моделирования длинных видео. В частности, Mavors напрямую кодирует исходное видео в латентные представления с помощью двух ключевых компонентов: 1) внутрифрагментного визуального энкодера (IVE), который сохраняет пространственные признаки высокого разрешения с использованием 3D-сверток и Vision Transformers, и 2) межфрагментного агрегатора признаков (IFA), который устанавливает временную согласованность между фрагментами с помощью трансформерного моделирования зависимостей с использованием ротационных позиционных кодирований на уровне фрагментов. Кроме того, фреймворк унифицирует понимание изображений и видео, рассматривая изображения как однофреймовые видео через декомпозицию субизображений. Эксперименты на различных бенчмарках демонстрируют превосходство Mavors в сохранении как пространственной точности, так и временной непрерывности, значительно превосходя существующие методы в задачах, требующих детализированного пространственно-временного анализа.

English

Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose Mavors, a novel framework that introduces Multi-granularity video representation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.