Mavors : Représentation vidéo multi-granularité pour les modèles de langage multimodaux de grande échelle

Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

April 14, 2025

Auteurs: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

cs.AI

Résumé

La compréhension de vidéos à long contexte dans les modèles de langage multimodaux de grande taille (MLLMs) fait face à un défi critique : équilibrer l'efficacité computationnelle avec la rétention de motifs spatio-temporels fins. Les approches existantes (par exemple, l'échantillonnage parcimonieux, l'échantillonnage dense à faible résolution, et la compression de tokens) souffrent d'une perte significative d'informations dans les dynamiques temporelles, les détails spatiaux, ou les interactions subtiles, en particulier dans les vidéos avec des mouvements complexes ou des résolutions variables. Pour résoudre ce problème, nous proposons Mavors, un nouveau cadre qui introduit une représentation vidéo multi-granularité pour la modélisation holistique de vidéos longues. Plus précisément, Mavors encode directement le contenu brut de la vidéo en représentations latentes grâce à deux composants clés : 1) un encodeur visuel intra-tronçon (IVE) qui préserve les caractéristiques spatiales à haute résolution via des convolutions 3D et des Vision Transformers, et 2) un agrégateur de caractéristiques inter-tronçons (IFA) qui établit la cohérence temporelle entre les tronçons en utilisant une modélisation de dépendance basée sur des transformers avec des encodages de position rotatifs au niveau des tronçons. De plus, le cadre unifie la compréhension d'images et de vidéos en traitant les images comme des vidéos à une seule image via une décomposition sous-image. Les expériences sur divers benchmarks démontrent la supériorité de Mavors dans le maintien de la fidélité spatiale et de la continuité temporelle, surpassant significativement les méthodes existantes dans les tâches nécessitant un raisonnement spatio-temporel fin.

English

Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose Mavors, a novel framework that introduces Multi-granularity video representation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.