Смещение акцента в эффективности ИИ от сжатия, ориентированного на модели, к сжатию, ориентированному на данные

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

May 25, 2025

Авторы: Xuyang Liu, Zichen Wen, Shaobo Wang, Junjie Chen, Zhishan Tao, Yubo Wang, Xiangqi Jin, Chang Zou, Yiyu Wang, Chenfei Liao, Xu Zheng, Honggang Chen, Weijia Li, Xuming Hu, Conghui He, Linfeng Zhang

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) и мультимодальных LLM (MLLM) исторически основывалось на масштабировании, ориентированном на модели, за счет увеличения количества параметров от миллионов до сотен миллиардов для достижения улучшений в производительности. Однако по мере приближения к аппаратным ограничениям на размер моделей основное вычислительное узкое место сместилось на квадратичную стоимость самовнимания (self-attention) при обработке длинных последовательностей токенов, что теперь обусловлено сверхдлинными текстовыми контекстами, изображениями высокого разрешения и продолжительными видео. В данной позиционной статье мы утверждаем, что фокус исследований в области эффективного ИИ смещается от сжатия, ориентированного на модели, к сжатию, ориентированному на данные. Мы рассматриваем сжатие токенов как новую границу, которая повышает эффективность ИИ за счет уменьшения количества токенов во время обучения или вывода модели. Проведя всесторонний анализ, мы сначала исследуем последние достижения в области ИИ с длинными контекстами в различных областях и устанавливаем единую математическую основу для существующих стратегий повышения эффективности моделей, демонстрируя, почему сжатие токенов представляет собой ключевой сдвиг парадигмы в решении проблемы накладных расходов, связанных с длинными контекстами. Затем мы систематически рассматриваем ландшафт исследований в области сжатия токенов, анализируя его фундаментальные преимущества и выделяя его убедительные достоинства в различных сценариях. Кроме того, мы проводим углубленный анализ текущих проблем в исследованиях по сжатию токенов и намечаем перспективные направления для будущих исследований. В конечном итоге наша работа направлена на то, чтобы предложить новый взгляд на эффективность ИИ, синтезировать существующие исследования и стимулировать инновационные разработки для решения вызовов, которые увеличивающиеся длины контекстов представляют для прогресса сообщества ИИ.

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.