Когда токены говорят слишком много: обзор методов сжатия мультимодальных длинных контекстов токенов для изображений, видео и аудио

When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios

July 27, 2025

Авторы: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

cs.AI

Аннотация

Мультимодальные крупные языковые модели (MLLMs) достигли значительных успехов, во многом благодаря их способности обрабатывать всё более длинные и сложные контексты, такие как изображения высокого разрешения, продолжительные видеопоследовательности и длинные аудиовходы. Хотя эта способность существенно расширяет возможности MLLM, она также вносит значительные вычислительные сложности, главным образом из-за квадратичной сложности механизмов самовнимания при большом количестве входных токенов. Для смягчения этих ограничений сжатие токенов стало перспективным и важным подходом, эффективно уменьшающим количество токенов как во время обучения, так и в процессе вывода. В данной статье мы представляем первый систематический обзор и синтез быстро развивающейся области сжатия токенов в мультимодальных длинных контекстах. Учитывая, что эффективные стратегии сжатия тесно связаны с уникальными характеристиками и избыточностью каждой модальности, мы классифицируем существующие подходы по их основному фокусу на данные, что позволяет исследователям быстро находить и изучать методы, адаптированные к их конкретной области интересов: (1) сжатие, ориентированное на изображения, которое устраняет пространственную избыточность в визуальных данных; (2) сжатие, ориентированное на видео, которое решает проблему пространственно-временной избыточности в динамических последовательностях; и (3) сжатие, ориентированное на аудио, которое справляется с временной и спектральной избыточностью в акустических сигналах. Помимо этой классификации по модальностям, мы также анализируем методы на основе их базовых механизмов, включая подходы, основанные на преобразованиях, сходстве, внимании и запросах. Предоставляя всесторонний и структурированный обзор, данная работа стремится консолидировать текущие достижения, выявить ключевые проблемы и вдохновить на будущие исследования в этой быстро развивающейся области. Мы также поддерживаем публичный репозиторий для постоянного отслеживания и обновления последних достижений в этой перспективной области.

English

Multimodal large language models (MLLMs) have made remarkable strides, largely driven by their ability to process increasingly long and complex contexts, such as high-resolution images, extended video sequences, and lengthy audio input. While this ability significantly enhances MLLM capabilities, it introduces substantial computational challenges, primarily due to the quadratic complexity of self-attention mechanisms with numerous input tokens. To mitigate these bottlenecks, token compression has emerged as an auspicious and critical approach, efficiently reducing the number of tokens during both training and inference. In this paper, we present the first systematic survey and synthesis of the burgeoning field of multimodal long context token compression. Recognizing that effective compression strategies are deeply tied to the unique characteristics and redundancies of each modality, we categorize existing approaches by their primary data focus, enabling researchers to quickly access and learn methods tailored to their specific area of interest: (1) image-centric compression, which addresses spatial redundancy in visual data; (2) video-centric compression, which tackles spatio-temporal redundancy in dynamic sequences; and (3) audio-centric compression, which handles temporal and spectral redundancy in acoustic signals. Beyond this modality-driven categorization, we further dissect methods based on their underlying mechanisms, including transformation-based, similarity-based, attention-based, and query-based approaches. By providing a comprehensive and structured overview, this survey aims to consolidate current progress, identify key challenges, and inspire future research directions in this rapidly evolving domain. We also maintain a public repository to continuously track and update the latest advances in this promising area.