Mavors: Multi-granulariteit Videorepresentatie voor Multimodale Grote Taalmodellen

Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

April 14, 2025

Auteurs: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

cs.AI

Samenvatting

Langetermijnvideo-begrip in multimodale grote taalmodellen (MLLMs) wordt geconfronteerd met een kritieke uitdaging: het balanceren van computationele efficiëntie met het behoud van fijnmazige spatio-temporele patronen. Bestaande benaderingen (bijvoorbeeld spaarzame bemonstering, dichte bemonstering met lage resolutie, en tokencompressie) lijden onder aanzienlijk informatieverlies in temporele dynamiek, ruimtelijke details of subtiele interacties, vooral in video's met complexe bewegingen of variërende resoluties. Om dit aan te pakken, stellen we Mavors voor, een nieuw raamwerk dat Multi-granulariteit video-representatie introduceert voor holistische langetermijnvideo-modellering. Specifiek codeert Mavors ruwe videocontent direct in latente representaties via twee kerncomponenten: 1) een Intra-chunk Vision Encoder (IVE) die hoogresolutie ruimtelijke kenmerken behoudt via 3D-convoluties en Vision Transformers, en 2) een Inter-chunk Feature Aggregator (IFA) die temporele samenhang tussen chunks vaststelt met transformer-gebaseerde afhankelijkheidsmodellering met chunk-level roterende positiecoderingen. Bovendien verenigt het raamwerk beeld- en videobegrip door afbeeldingen te behandelen als enkel-frame video's via sub-beelddecompositie. Experimenten over diverse benchmarks tonen de superioriteit van Mavors aan in het behouden van zowel ruimtelijke trouw als temporele continuïteit, waarbij het bestaande methoden significant overtreft in taken die fijnmazige spatio-temporele redenering vereisen.

English

Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose Mavors, a novel framework that introduces Multi-granularity video representation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.