Het verschuiven van AI-efficiëntie van modelgerichte naar datagerichte compressie

Samenvatting

De snelle vooruitgang van grote taalmodellen (LLMs) en multimodale LLMs (MLLMs) heeft historisch gezien vertrouwd op modelgerichte schaalvergroting door het aantal parameters te verhogen van miljoenen naar honderden miljarden om prestatieverbeteringen te realiseren. Naarmate we echter de hardwarelimieten van modelgrootte naderen, is het dominante computationele knelpunt fundamenteel verschoven naar de kwadratische kosten van zelf-attentie over lange tokenreeksen, nu gedreven door ultra-lange tekstcontexten, hoogresolutiebeelden en uitgebreide video's. In dit position paper betogen we dat de focus van onderzoek naar efficiënte AI verschuift van modelgerichte compressie naar datagerichte compressie. We positioneren tokencompressie als de nieuwe grens, die de AI-efficiëntie verbetert door het aantal tokens tijdens modeltraining of -inferentie te verminderen. Door middel van een uitgebreide analyse onderzoeken we eerst recente ontwikkelingen in lange-context AI over verschillende domeinen en stellen we een uniform wiskundig kader op voor bestaande model efficiëntiestrategieën, waarbij we aantonen waarom tokencompressie een cruciale paradigmaverschuiving vertegenwoordigt in het aanpakken van lange-context overhead. Vervolgens bespreken we systematisch het onderzoekslandschap van tokencompressie, analyseren we de fundamentele voordelen en identificeren we de overtuigende voordelen in diverse scenario's. Bovendien bieden we een diepgaande analyse van de huidige uitdagingen in tokencompressieonderzoek en schetsen we veelbelovende toekomstige richtingen. Uiteindelijk beoogt ons werk een nieuw perspectief te bieden op AI-efficiëntie, bestaand onderzoek te synthetiseren en innovatieve ontwikkelingen te stimuleren om de uitdagingen aan te pakken die toenemende contextlengtes vormen voor de vooruitgang van de AI-gemeenschap.

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.

Het verschuiven van AI-efficiëntie van modelgerichte naar datagerichte compressie

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

Samenvatting

Support