Quando i Token Parlano Troppo: Un'Indagine sulla Compressione di Token Multimodali a Lungo Contesto attraverso Immagini, Video e Audio

When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios

July 27, 2025

Autori: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) hanno compiuto progressi significativi, principalmente grazie alla loro capacità di elaborare contesti sempre più lunghi e complessi, come immagini ad alta risoluzione, sequenze video estese e input audio di lunga durata. Sebbene questa capacità potenzi notevolmente le funzionalità degli MLLM, introduce anche sfide computazionali sostanziali, dovute principalmente alla complessità quadratica dei meccanismi di self-attention con un numero elevato di token di input. Per mitigare questi colli di bottiglia, la compressione dei token è emersa come un approccio promettente e cruciale, riducendo efficacemente il numero di token sia durante l'addestramento che durante l'inferenza. In questo articolo, presentiamo la prima rassegna sistematica e sintesi del campo in rapida crescita della compressione dei token per contesti lunghi multimodali. Riconoscendo che le strategie di compressione efficaci sono strettamente legate alle caratteristiche uniche e alle ridondanze di ciascuna modalità, categorizziamo gli approcci esistenti in base al loro focus principale sui dati, consentendo ai ricercatori di accedere rapidamente e apprendere metodi adatti al loro specifico ambito di interesse: (1) compressione centrata sulle immagini, che affronta la ridondanza spaziale nei dati visivi; (2) compressione centrata sui video, che affronta la ridondanza spazio-temporale nelle sequenze dinamiche; e (3) compressione centrata sull'audio, che gestisce la ridondanza temporale e spettrale nei segnali acustici. Oltre a questa categorizzazione basata sulle modalità, analizziamo ulteriormente i metodi in base ai loro meccanismi sottostanti, inclusi approcci basati su trasformazioni, similarità, attenzione e query. Fornendo una panoramica completa e strutturata, questa rassegna mira a consolidare i progressi attuali, identificare le principali sfide e ispirare future direzioni di ricerca in questo dominio in rapida evoluzione. Manteniamo inoltre un repository pubblico per monitorare e aggiornare continuamente i più recenti avanzamenti in questa promettente area.

English

Multimodal large language models (MLLMs) have made remarkable strides, largely driven by their ability to process increasingly long and complex contexts, such as high-resolution images, extended video sequences, and lengthy audio input. While this ability significantly enhances MLLM capabilities, it introduces substantial computational challenges, primarily due to the quadratic complexity of self-attention mechanisms with numerous input tokens. To mitigate these bottlenecks, token compression has emerged as an auspicious and critical approach, efficiently reducing the number of tokens during both training and inference. In this paper, we present the first systematic survey and synthesis of the burgeoning field of multimodal long context token compression. Recognizing that effective compression strategies are deeply tied to the unique characteristics and redundancies of each modality, we categorize existing approaches by their primary data focus, enabling researchers to quickly access and learn methods tailored to their specific area of interest: (1) image-centric compression, which addresses spatial redundancy in visual data; (2) video-centric compression, which tackles spatio-temporal redundancy in dynamic sequences; and (3) audio-centric compression, which handles temporal and spectral redundancy in acoustic signals. Beyond this modality-driven categorization, we further dissect methods based on their underlying mechanisms, including transformation-based, similarity-based, attention-based, and query-based approaches. By providing a comprehensive and structured overview, this survey aims to consolidate current progress, identify key challenges, and inspire future research directions in this rapidly evolving domain. We also maintain a public repository to continuously track and update the latest advances in this promising area.