Mudando a Eficiência da IA da Compressão Centrada no Modelo para a Centrada em Dados

Resumo

O rápido avanço dos grandes modelos de linguagem (LLMs) e dos modelos de linguagem multimodais (MLLMs) historicamente dependeu da escalada centrada no modelo, com o aumento do número de parâmetros de milhões para centenas de bilhões, para impulsionar ganhos de desempenho. No entanto, à medida que nos aproximamos dos limites de hardware no tamanho dos modelos, o principal gargalo computacional mudou fundamentalmente para o custo quadrático da auto-atenção em sequências longas de tokens, agora impulsionado por contextos de texto ultra-longos, imagens de alta resolução e vídeos estendidos. Neste artigo de posicionamento, argumentamos que o foco da pesquisa para IA eficiente está mudando da compressão centrada no modelo para a compressão centrada nos dados. Posicionamos a compressão de tokens como a nova fronteira, que melhora a eficiência da IA por meio da redução do número de tokens durante o treinamento ou inferência do modelo. Por meio de uma análise abrangente, primeiro examinamos os desenvolvimentos recentes em IA de contexto longo em várias áreas e estabelecemos uma estrutura matemática unificada para as estratégias existentes de eficiência de modelos, demonstrando por que a compressão de tokens representa uma mudança de paradigma crucial para abordar a sobrecarga de contexto longo. Em seguida, revisamos sistematicamente o panorama de pesquisa em compressão de tokens, analisando seus benefícios fundamentais e identificando suas vantagens convincentes em diversos cenários. Além disso, fornecemos uma análise aprofundada dos desafios atuais na pesquisa de compressão de tokens e delineamos direções futuras promissoras. Por fim, nosso trabalho visa oferecer uma nova perspectiva sobre a eficiência da IA, sintetizar pesquisas existentes e catalisar desenvolvimentos inovadores para enfrentar os desafios que o aumento dos comprimentos de contexto impõe ao avanço da comunidade de IA.

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.

Mudando a Eficiência da IA da Compressão Centrada no Modelo para a Centrada em Dados

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

Resumo

Support