Tokenreductie zou verder moeten gaan dan efficiëntie in generatieve modellen -- van visie, taal naar multimodaliteit

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

May 23, 2025

Auteurs: Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

cs.AI

Samenvatting

In Transformer-architecturen worden tokens\textemdash discrete eenheden afgeleid van ruwe data\textemdash gevormd door inputs in vaste-lengte segmenten op te delen. Elke token wordt vervolgens omgezet in een embedding, wat parallelle aandachtberekeningen mogelijk maakt terwijl de essentiële informatie van de input behouden blijft. Vanwege de kwadratische rekencomplexiteit van de zelf-attentiemechanismen in transformers, is tokenreductie voornamelijk gebruikt als een efficiëntiestrategie. Dit geldt vooral in domeinen met enkelvoudige visuele en taalgegevens, waar het helpt om rekencosten, geheugengebruik en inferentielatentie in balans te brengen. Ondanks deze vooruitgang stelt dit artikel dat tokenreductie zijn traditionele efficiëntiegerichte rol moet overstijgen in het tijdperk van grote generatieve modellen. In plaats daarvan positioneren we het als een fundamenteel principe in generatieve modellering, dat zowel de modelarchitectuur als bredere toepassingen kritisch beïnvloedt. Specifiek beargumenteren we dat tokenreductie in visuele, taal- en multimodale systemen het volgende kan bewerkstelligen: (i) diepere multimodale integratie en afstemming faciliteren, (ii) "overdenken" en hallucinaties verminderen, (iii) samenhang over lange inputs behouden, en (iv) de trainingsstabiliteit verbeteren, enz. We herdefiniëren tokenreductie als meer dan een efficiëntiemaatregel. Hiermee schetsen we veelbelovende toekomstige richtingen, waaronder algoritmeontwerp, tokenreductie geleid door reinforcement learning, tokenoptimalisatie voor in-context leren, en bredere ML- en wetenschappelijke domeinen. We benadrukken het potentieel om nieuwe modelarchitecturen en leerstrategieën te ontwikkelen die robuustheid verbeteren, interpreteerbaarheid vergroten en beter aansluiten bij de doelstellingen van generatieve modellering.

English

In Transformer architectures, tokens\textemdash discrete units derived from raw data\textemdash are formed by segmenting inputs into fixed-length chunks. Each token is then mapped to an embedding, enabling parallel attention computations while preserving the input's essential information. Due to the quadratic computational complexity of transformer self-attention mechanisms, token reduction has primarily been used as an efficiency strategy. This is especially true in single vision and language domains, where it helps balance computational costs, memory usage, and inference latency. Despite these advances, this paper argues that token reduction should transcend its traditional efficiency-oriented role in the era of large generative models. Instead, we position it as a fundamental principle in generative modeling, critically influencing both model architecture and broader applications. Specifically, we contend that across vision, language, and multimodal systems, token reduction can: (i) facilitate deeper multimodal integration and alignment, (ii) mitigate "overthinking" and hallucinations, (iii) maintain coherence over long inputs, and (iv) enhance training stability, etc. We reframe token reduction as more than an efficiency measure. By doing so, we outline promising future directions, including algorithm design, reinforcement learning-guided token reduction, token optimization for in-context learning, and broader ML and scientific domains. We highlight its potential to drive new model architectures and learning strategies that improve robustness, increase interpretability, and better align with the objectives of generative modeling.