Quando os Tokens Falam Demais: Uma Análise da Compressão de Tokens de Contexto Longo Multimodal em Imagens, Vídeos e Áudios

When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios

July 27, 2025

Autores: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) têm alcançado avanços notáveis, impulsionados principalmente por sua capacidade de processar contextos cada vez mais longos e complexos, como imagens de alta resolução, sequências de vídeo estendidas e entradas de áudio prolongadas. Embora essa capacidade amplie significativamente as funcionalidades dos MLLMs, ela introduz desafios computacionais substanciais, principalmente devido à complexidade quadrática dos mecanismos de autoatenção com um grande número de tokens de entrada. Para mitigar esses gargalos, a compressão de tokens surgiu como uma abordagem promissora e crítica, reduzindo eficientemente o número de tokens durante o treinamento e a inferência. Neste artigo, apresentamos o primeiro levantamento sistemático e síntese do campo emergente da compressão de tokens em contextos longos multimodais. Reconhecendo que estratégias de compressão eficazes estão profundamente ligadas às características e redundâncias únicas de cada modalidade, categorizamos as abordagens existentes com base em seu foco principal de dados, permitindo que os pesquisadores acessem e aprendam métodos adaptados às suas áreas de interesse específicas: (1) compressão centrada em imagens, que aborda a redundância espacial em dados visuais; (2) compressão centrada em vídeo, que lida com a redundância espaço-temporal em sequências dinâmicas; e (3) compressão centrada em áudio, que trata da redundância temporal e espectral em sinais acústicos. Além dessa categorização orientada por modalidade, detalhamos ainda mais os métodos com base em seus mecanismos subjacentes, incluindo abordagens baseadas em transformação, similaridade, atenção e consultas. Ao fornecer uma visão geral abrangente e estruturada, este levantamento visa consolidar o progresso atual, identificar desafios-chave e inspirar futuras direções de pesquisa nesse domínio em rápida evolução. Também mantemos um repositório público para acompanhar e atualizar continuamente os avanços mais recentes nessa área promissora.

English

Multimodal large language models (MLLMs) have made remarkable strides, largely driven by their ability to process increasingly long and complex contexts, such as high-resolution images, extended video sequences, and lengthy audio input. While this ability significantly enhances MLLM capabilities, it introduces substantial computational challenges, primarily due to the quadratic complexity of self-attention mechanisms with numerous input tokens. To mitigate these bottlenecks, token compression has emerged as an auspicious and critical approach, efficiently reducing the number of tokens during both training and inference. In this paper, we present the first systematic survey and synthesis of the burgeoning field of multimodal long context token compression. Recognizing that effective compression strategies are deeply tied to the unique characteristics and redundancies of each modality, we categorize existing approaches by their primary data focus, enabling researchers to quickly access and learn methods tailored to their specific area of interest: (1) image-centric compression, which addresses spatial redundancy in visual data; (2) video-centric compression, which tackles spatio-temporal redundancy in dynamic sequences; and (3) audio-centric compression, which handles temporal and spectral redundancy in acoustic signals. Beyond this modality-driven categorization, we further dissect methods based on their underlying mechanisms, including transformation-based, similarity-based, attention-based, and query-based approaches. By providing a comprehensive and structured overview, this survey aims to consolidate current progress, identify key challenges, and inspire future research directions in this rapidly evolving domain. We also maintain a public repository to continuously track and update the latest advances in this promising area.