Passer de l'efficacité de l'IA centrée sur le modèle à la compression centrée sur les données

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

May 25, 2025

Auteurs: Xuyang Liu, Zichen Wen, Shaobo Wang, Junjie Chen, Zhishan Tao, Yubo Wang, Xiangqi Jin, Chang Zou, Yiyu Wang, Chenfei Liao, Xu Zheng, Honggang Chen, Weijia Li, Xuming Hu, Conghui He, Linfeng Zhang

cs.AI

Résumé

L'avancée rapide des grands modèles de langage (LLMs) et des modèles de langage multi-modaux (MLLMs) a historiquement reposé sur une mise à l'échelle centrée sur le modèle, en augmentant le nombre de paramètres de millions à des centaines de milliards pour améliorer les performances. Cependant, à mesure que nous approchons des limites matérielles concernant la taille des modèles, le goulot d'étranglement computationnel dominant a fondamentalement basculé vers le coût quadratique de l'auto-attention sur de longues séquences de tokens, désormais motivé par des contextes textuels ultra-longs, des images haute résolution et des vidéos prolongées. Dans ce document de position, nous soutenons que l'attention de la recherche pour une IA efficace se déplace d'une compression centrée sur le modèle vers une compression centrée sur les données. Nous positionnons la compression de tokens comme la nouvelle frontière, qui améliore l'efficacité de l'IA en réduisant le nombre de tokens pendant l'entraînement ou l'inférence du modèle. À travers une analyse approfondie, nous examinons d'abord les récents développements dans l'IA à contexte long à travers divers domaines et établissons un cadre mathématique unifié pour les stratégies existantes d'efficacité des modèles, démontrant pourquoi la compression de tokens représente un changement de paradigme crucial pour aborder les surcoûts liés aux contextes longs. Ensuite, nous passons en revue systématiquement le paysage de la recherche sur la compression de tokens, en analysant ses avantages fondamentaux et en identifiant ses atouts convaincants dans divers scénarios. De plus, nous fournissons une analyse approfondie des défis actuels dans la recherche sur la compression de tokens et esquissons des directions futures prometteuses. En fin de compte, notre travail vise à offrir une perspective nouvelle sur l'efficacité de l'IA, à synthétiser les recherches existantes et à catalyser des développements innovants pour relever les défis que posent les longueurs de contexte croissantes à l'avancement de la communauté de l'IA.

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.