Wanneer Tokens Te Veel Praten: Een Overzicht van Multimodale Compressie van Lange-Context Tokens voor Beelden, Video's en Audio

When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios

July 27, 2025

Auteurs: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLMs) hebben opmerkelijke vooruitgang geboekt, grotendeels gedreven door hun vermogen om steeds langere en complexere contexten te verwerken, zoals hoogwaardige afbeeldingen, uitgebreide videosequenties en lange audio-input. Hoewel dit vermogen de mogelijkheden van MLLMs aanzienlijk verbetert, brengt het aanzienlijke computationele uitdagingen met zich mee, voornamelijk vanwege de kwadratische complexiteit van self-attention-mechanismen bij een groot aantal invoertokens. Om deze knelpunten te verlichten, is tokencompressie naar voren gekomen als een veelbelovende en cruciale aanpak, die het aantal tokens efficiënt reduceert tijdens zowel training als inferentie. In dit artikel presenteren we de eerste systematische overzicht en synthese van het snelgroeiende veld van multimodale lange context tokencompressie. Erkennend dat effectieve compressiestrategieën diep verbonden zijn met de unieke kenmerken en redundanties van elke modaliteit, categoriseren we bestaande benaderingen op basis van hun primaire datafocus, waardoor onderzoekers snel methoden kunnen vinden en leren die zijn afgestemd op hun specifieke interessegebied: (1) beeldgerichte compressie, die ruimtelijke redundantie in visuele gegevens aanpakt; (2) videogerichte compressie, die spatio-temporele redundantie in dynamische sequenties aanpakt; en (3) audiogerichte compressie, die temporele en spectrale redundantie in akoestische signalen behandelt. Naast deze modaliteitsgedreven categorisatie, ontleden we methoden verder op basis van hun onderliggende mechanismen, waaronder transformatiegebaseerde, gelijkenisgebaseerde, attentiongebaseerde en querygebaseerde benaderingen. Door een uitgebreid en gestructureerd overzicht te bieden, beoogt deze overzicht de huidige vooruitgang te consolideren, belangrijke uitdagingen te identificeren en toekomstige onderzoeksrichtingen in dit snel evoluerende domein te inspireren. We onderhouden ook een openbare repository om de nieuwste ontwikkelingen in dit veelbelovende gebied continu te volgen en bij te werken.

English

Multimodal large language models (MLLMs) have made remarkable strides, largely driven by their ability to process increasingly long and complex contexts, such as high-resolution images, extended video sequences, and lengthy audio input. While this ability significantly enhances MLLM capabilities, it introduces substantial computational challenges, primarily due to the quadratic complexity of self-attention mechanisms with numerous input tokens. To mitigate these bottlenecks, token compression has emerged as an auspicious and critical approach, efficiently reducing the number of tokens during both training and inference. In this paper, we present the first systematic survey and synthesis of the burgeoning field of multimodal long context token compression. Recognizing that effective compression strategies are deeply tied to the unique characteristics and redundancies of each modality, we categorize existing approaches by their primary data focus, enabling researchers to quickly access and learn methods tailored to their specific area of interest: (1) image-centric compression, which addresses spatial redundancy in visual data; (2) video-centric compression, which tackles spatio-temporal redundancy in dynamic sequences; and (3) audio-centric compression, which handles temporal and spectral redundancy in acoustic signals. Beyond this modality-driven categorization, we further dissect methods based on their underlying mechanisms, including transformation-based, similarity-based, attention-based, and query-based approaches. By providing a comprehensive and structured overview, this survey aims to consolidate current progress, identify key challenges, and inspire future research directions in this rapidly evolving domain. We also maintain a public repository to continuously track and update the latest advances in this promising area.