La Reducción de Tokens Debe Ir Más Allá de la Eficiencia en Modelos Generativos -- Desde la Visión, el Lenguaje Hasta la Multimodalidad

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

May 23, 2025

Autores: Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

cs.AI

Resumen

En las arquitecturas Transformer, los tokens\textemdash unidades discretas derivadas de datos brutos\textemdash se forman segmentando las entradas en fragmentos de longitud fija. Cada token se mapea luego a un embedding, permitiendo cálculos de atención en paralelo mientras se preserva la información esencial de la entrada. Debido a la complejidad computacional cuadrática de los mecanismos de autoatención en los transformers, la reducción de tokens se ha utilizado principalmente como una estrategia de eficiencia. Esto es especialmente cierto en dominios de visión única y lenguaje, donde ayuda a equilibrar los costos computacionales, el uso de memoria y la latencia de inferencia. A pesar de estos avances, este artículo argumenta que la reducción de tokens debería trascender su papel tradicional orientado a la eficiencia en la era de los modelos generativos grandes. En su lugar, la posicionamos como un principio fundamental en el modelado generativo, influyendo críticamente tanto en la arquitectura del modelo como en aplicaciones más amplias. Específicamente, sostenemos que, en sistemas de visión, lenguaje y multimodales, la reducción de tokens puede: (i) facilitar una integración y alineación multimodal más profunda, (ii) mitigar el "sobrepensamiento" y las alucinaciones, (iii) mantener la coherencia en entradas largas, y (iv) mejorar la estabilidad del entrenamiento, entre otros. Replanteamos la reducción de tokens como algo más que una medida de eficiencia. Al hacerlo, delineamos direcciones futuras prometedoras, incluyendo el diseño de algoritmos, la reducción de tokens guiada por aprendizaje por refuerzo, la optimización de tokens para el aprendizaje en contexto, y dominios más amplios de ML y ciencia. Destacamos su potencial para impulsar nuevas arquitecturas de modelos y estrategias de aprendizaje que mejoren la robustez, aumenten la interpretabilidad y se alineen mejor con los objetivos del modelado generativo.

English

In Transformer architectures, tokens\textemdash discrete units derived from raw data\textemdash are formed by segmenting inputs into fixed-length chunks. Each token is then mapped to an embedding, enabling parallel attention computations while preserving the input's essential information. Due to the quadratic computational complexity of transformer self-attention mechanisms, token reduction has primarily been used as an efficiency strategy. This is especially true in single vision and language domains, where it helps balance computational costs, memory usage, and inference latency. Despite these advances, this paper argues that token reduction should transcend its traditional efficiency-oriented role in the era of large generative models. Instead, we position it as a fundamental principle in generative modeling, critically influencing both model architecture and broader applications. Specifically, we contend that across vision, language, and multimodal systems, token reduction can: (i) facilitate deeper multimodal integration and alignment, (ii) mitigate "overthinking" and hallucinations, (iii) maintain coherence over long inputs, and (iv) enhance training stability, etc. We reframe token reduction as more than an efficiency measure. By doing so, we outline promising future directions, including algorithm design, reinforcement learning-guided token reduction, token optimization for in-context learning, and broader ML and scientific domains. We highlight its potential to drive new model architectures and learning strategies that improve robustness, increase interpretability, and better align with the objectives of generative modeling.