Token-Reduktion sollte über Effizienz in generativen Modellen hinausgehen -- Von Vision und Sprache zu Multimodalität

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

May 23, 2025

Autoren: Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

cs.AI

Zusammenfassung

In Transformer-Architekturen werden Token\textemdash diskrete Einheiten, die aus Rohdaten abgeleitet werden\textemdash durch die Segmentierung von Eingaben in feste Längen gebildet. Jedes Token wird dann in ein Embedding abgebildet, wodurch parallele Aufmerksamkeitsberechnungen ermöglicht werden, während die wesentlichen Informationen der Eingabe erhalten bleiben. Aufgrund der quadratischen Rechenkomplexität der Selbstaufmerksamkeitsmechanismen von Transformern wurde Token-Reduktion hauptsächlich als Effizienzstrategie eingesetzt. Dies gilt insbesondere in den Bereichen der Einzelbild- und Sprachverarbeitung, wo sie dazu beiträgt, Rechenkosten, Speicherverbrauch und Inferenzlatenz auszugleichen. Trotz dieser Fortschritte argumentiert dieses Papier, dass Token-Reduktion im Zeitalter großer generativer Modelle ihre traditionelle, effizienzorientierte Rolle überschreiten sollte. Stattdessen positionieren wir sie als ein grundlegendes Prinzip im generativen Modellieren, das sowohl die Modellarchitektur als auch breitere Anwendungen entscheidend beeinflusst. Konkret behaupten wir, dass Token-Reduktion in den Bereichen Vision, Sprache und multimodale Systeme folgendes bewirken kann: (i) tiefere multimodale Integration und Ausrichtung erleichtern, (ii) „Überdenken“ und Halluzinationen mindern, (iii) Kohärenz bei langen Eingaben bewahren und (iv) die Trainingsstabilität verbessern, usw. Wir betrachten Token-Reduktion als mehr als nur eine Effizienzmaßnahme. Dadurch skizzieren wir vielversprechende zukünftige Richtungen, einschließlich Algorithmenentwicklung, Token-Reduktion durch verstärkendes Lernen, Token-Optimierung für In-Context-Lernen sowie breitere ML- und wissenschaftliche Anwendungsbereiche. Wir heben ihr Potenzial hervor, neue Modellarchitekturen und Lernstrategien voranzutreiben, die Robustheit erhöhen, Interpretierbarkeit verbessern und besser mit den Zielen des generativen Modellierens in Einklang stehen.

English

In Transformer architectures, tokens\textemdash discrete units derived from raw data\textemdash are formed by segmenting inputs into fixed-length chunks. Each token is then mapped to an embedding, enabling parallel attention computations while preserving the input's essential information. Due to the quadratic computational complexity of transformer self-attention mechanisms, token reduction has primarily been used as an efficiency strategy. This is especially true in single vision and language domains, where it helps balance computational costs, memory usage, and inference latency. Despite these advances, this paper argues that token reduction should transcend its traditional efficiency-oriented role in the era of large generative models. Instead, we position it as a fundamental principle in generative modeling, critically influencing both model architecture and broader applications. Specifically, we contend that across vision, language, and multimodal systems, token reduction can: (i) facilitate deeper multimodal integration and alignment, (ii) mitigate "overthinking" and hallucinations, (iii) maintain coherence over long inputs, and (iv) enhance training stability, etc. We reframe token reduction as more than an efficiency measure. By doing so, we outline promising future directions, including algorithm design, reinforcement learning-guided token reduction, token optimization for in-context learning, and broader ML and scientific domains. We highlight its potential to drive new model architectures and learning strategies that improve robustness, increase interpretability, and better align with the objectives of generative modeling.