AI効率の焦点をモデル中心からデータ中心の圧縮へ移行

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

May 25, 2025

著者: Xuyang Liu, Zichen Wen, Shaobo Wang, Junjie Chen, Zhishan Tao, Yubo Wang, Xiangqi Jin, Chang Zou, Yiyu Wang, Chenfei Liao, Xu Zheng, Honggang Chen, Weijia Li, Xuming Hu, Conghui He, Linfeng Zhang

cs.AI

要旨

大規模言語モデル（LLMs）およびマルチモーダルLLMs（MLLMs）の急速な進歩は、これまで主にパラメータ数を数百万から数千億に増やすことによるモデル中心のスケーリングに依存し、性能向上を実現してきた。しかし、モデルサイズのハードウェア的限界に近づくにつれ、主要な計算上のボトルネックは、長いトークンシーケンスに対する自己注意機構の二次コストに根本的に移行し、これは超長文テキスト、高解像度画像、および長時間のビデオによって駆動されている。本ポジションペーパーでは、効率的なAI研究の焦点がモデル中心の圧縮からデータ中心の圧縮へと移行していることを主張する。我々は、トークン圧縮を新たなフロンティアとして位置づけ、モデルの訓練や推論中にトークン数を削減することでAIの効率性を向上させることを提案する。包括的な分析を通じて、まず、さまざまな領域における長文脈AIの最近の進展を検証し、既存のモデル効率化戦略に対する統一的な数学的枠組みを確立し、トークン圧縮が長文脈オーバーヘッドに対処する上で重要なパラダイムシフトであることを示す。続いて、トークン圧縮の研究状況を体系的にレビューし、その基本的な利点を分析し、多様なシナリオにおける説得力のある優位性を明らかにする。さらに、トークン圧縮研究における現在の課題を詳細に分析し、将来の有望な方向性を提示する。最終的に、本研究は、AI効率性に対する新たな視点を提供し、既存の研究を統合し、文脈長の増加がAIコミュニティの進歩に与える課題に対処するための革新的な発展を促進することを目指す。

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.