Spostare l'efficienza dell'IA dalla compressione centrata sul modello a quella centrata sui dati

Abstract

Il rapido progresso dei grandi modelli linguistici (LLM) e dei modelli linguistici multimodali (MLLM) si è storicamente basato sullo scaling centrato sul modello, aumentando il numero di parametri da milioni a centinaia di miliardi per ottenere miglioramenti nelle prestazioni. Tuttavia, avvicinandoci ai limiti hardware delle dimensioni dei modelli, il collo di bottiglia computazionale dominante si è spostato radicalmente verso il costo quadratico del meccanismo di self-attention su sequenze di token lunghe, ora guidato da contesti testuali ultra-lunghi, immagini ad alta risoluzione e video estesi. In questo position paper, sosteniamo che il focus della ricerca per un'IA efficiente si sta spostando dalla compressione centrata sul modello alla compressione centrata sui dati. Posizioniamo la compressione dei token come la nuova frontiera, che migliora l'efficienza dell'IA riducendo il numero di token durante l'addestramento o l'inferenza del modello. Attraverso un'analisi completa, esaminiamo prima i recenti sviluppi nell'IA a contesto lungo in vari domini e stabiliamo un framework matematico unificato per le strategie esistenti di efficienza dei modelli, dimostrando perché la compressione dei token rappresenta un cambiamento di paradigma cruciale per affrontare il sovraccarico dei contesti lunghi. Successivamente, esaminiamo sistematicamente il panorama della ricerca sulla compressione dei token, analizzandone i benefici fondamentali e identificandone i vantaggi significativi in diversi scenari. Inoltre, forniamo un'analisi approfondita delle attuali sfide nella ricerca sulla compressione dei token e delineiamo promettenti direzioni future. In definitiva, il nostro lavoro mira a offrire una nuova prospettiva sull'efficienza dell'IA, sintetizzare la ricerca esistente e catalizzare sviluppi innovativi per affrontare le sfide che le lunghezze crescenti dei contesti pongono al progresso della comunità dell'IA.

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.

Spostare l'efficienza dell'IA dalla compressione centrata sul modello a quella centrata sui dati

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

Abstract

Support