Cambiando la eficiencia de la IA de la compresión centrada en el modelo a la centrada en los datos

Resumen

El rápido avance de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) y los modelos de lenguaje multimodal (MLLMs) históricamente ha dependido de la escalabilidad centrada en el modelo, mediante el aumento del número de parámetros desde millones hasta cientos de miles de millones, para impulsar mejoras en el rendimiento. Sin embargo, a medida que nos acercamos a los límites de hardware en cuanto al tamaño del modelo, el cuello de botella computacional dominante ha cambiado fundamentalmente hacia el costo cuadrático de la autoatención sobre secuencias largas de tokens, impulsado ahora por contextos de texto ultralargos, imágenes de alta resolución y videos extensos. En este documento de posición, argumentamos que el enfoque de la investigación para una IA eficiente está cambiando de la compresión centrada en el modelo a la compresión centrada en los datos. Posicionamos la compresión de tokens como la nueva frontera, que mejora la eficiencia de la IA al reducir el número de tokens durante el entrenamiento o la inferencia del modelo. A través de un análisis exhaustivo, primero examinamos los desarrollos recientes en IA de contexto largo en diversos dominios y establecemos un marco matemático unificado para las estrategias existentes de eficiencia de modelos, demostrando por qué la compresión de tokens representa un cambio de paradigma crucial para abordar la sobrecarga de contextos largos. Posteriormente, revisamos sistemáticamente el panorama de investigación en compresión de tokens, analizando sus beneficios fundamentales e identificando sus ventajas convincentes en diversos escenarios. Además, proporcionamos un análisis en profundidad de los desafíos actuales en la investigación de compresión de tokens y delineamos direcciones futuras prometedoras. En última instancia, nuestro trabajo tiene como objetivo ofrecer una perspectiva fresca sobre la eficiencia de la IA, sintetizar la investigación existente y catalizar desarrollos innovadores para abordar los desafíos que las longitudes crecientes de contexto plantean para el avance de la comunidad de IA.

English

The rapid advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on model-centric scaling through increasing parameter counts from millions to hundreds of billions to drive performance gains. However, as we approach hardware limits on model size, the dominant computational bottleneck has fundamentally shifted to the quadratic cost of self-attention over long token sequences, now driven by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, we argue that the focus of research for efficient AI is shifting from model-centric compression to data-centric compression. We position token compression as the new frontier, which improves AI efficiency via reducing the number of tokens during model training or inference. Through comprehensive analysis, we first examine recent developments in long-context AI across various domains and establish a unified mathematical framework for existing model efficiency strategies, demonstrating why token compression represents a crucial paradigm shift in addressing long-context overhead. Subsequently, we systematically review the research landscape of token compression, analyzing its fundamental benefits and identifying its compelling advantages across diverse scenarios. Furthermore, we provide an in-depth analysis of current challenges in token compression research and outline promising future directions. Ultimately, our work aims to offer a fresh perspective on AI efficiency, synthesize existing research, and catalyze innovative developments to address the challenges that increasing context lengths pose to the AI community's advancement.

Cambiando la eficiencia de la IA de la compresión centrada en el modelo a la centrada en los datos

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

Resumen

Support