Mavors: Multigranulare Videorepräsentation für multimodale Large Language Models

Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

April 14, 2025

Autoren: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

cs.AI

Zusammenfassung

Das Verständnis von langen Videokontexten in multimodalen großen Sprachmodellen (MLLMs) steht vor einer entscheidenden Herausforderung: die Balance zwischen Recheneffizienz und der Bewahrung feinkörniger räumlich-zeitlicher Muster. Bestehende Ansätze (z. B. spärliche Abtastung, dichte Abtastung mit niedriger Auflösung und Token-Kompression) leiden unter erheblichem Informationsverlust in den zeitlichen Dynamiken, räumlichen Details oder subtilen Interaktionen, insbesondere bei Videos mit komplexen Bewegungen oder variierenden Auflösungen. Um dies zu adressieren, schlagen wir Mavors vor, ein neuartiges Framework, das eine Multi-Granularitäts-Videodarstellung für die ganzheitliche Modellierung langer Videos einführt. Konkret kodiert Mavors den Rohvideocontent direkt in latente Repräsentationen durch zwei Kernkomponenten: 1) einen Intra-Chunk-Vision-Encoder (IVE), der hochauflösende räumliche Merkmale mittels 3D-Faltungen und Vision-Transformern bewahrt, und 2) einen Inter-Chunk-Feature-Aggregator (IFA), der zeitliche Kohärenz zwischen Chunks durch transformer-basierte Abhängigkeitsmodellierung mit Chunk-Level-Rotationspositionskodierungen herstellt. Darüber hinaus vereinheitlicht das Framework das Verständnis von Bildern und Videos, indem es Bilder als Einzelbild-Videos durch Sub-Bild-Zerlegung behandelt. Experimente über diverse Benchmarks demonstrieren die Überlegenheit von Mavors in der Bewahrung sowohl räumlicher Treue als auch zeitlicher Kontinuität und übertreffen bestehende Methoden signifikant in Aufgaben, die feinkörnige räumlich-zeitliche Schlussfolgerungen erfordern.

English

Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose Mavors, a novel framework that introduces Multi-granularity video representation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.