Сокращение токенов должно выходить за рамки повышения эффективности в генеративных моделях — от зрения, языка до мультимодальности

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

May 23, 2025

Авторы: Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

cs.AI

Аннотация

В архитектурах Transformer токены — дискретные единицы, полученные из исходных данных — формируются путем разделения входных данных на фиксированные по длине фрагменты. Каждый токен затем отображается в эмбеддинг, что позволяет выполнять параллельные вычисления внимания, сохраняя при этом ключевую информацию входных данных. Из-за квадратичной вычислительной сложности механизмов самовнимания в трансформерах, сокращение токенов в основном использовалось как стратегия повышения эффективности. Это особенно актуально в областях обработки изображений и текста, где оно помогает сбалансировать вычислительные затраты, использование памяти и задержку при выводе. Несмотря на эти достижения, в данной статье утверждается, что сокращение токенов должно выйти за рамки своей традиционной роли, ориентированной на эффективность, в эпоху крупных генеративных моделей. Вместо этого мы позиционируем его как фундаментальный принцип в генеративном моделировании, критически влияющий как на архитектуру модели, так и на более широкие приложения. В частности, мы утверждаем, что в системах обработки изображений, текста и мультимодальных системах сокращение токенов может: (i) способствовать более глубокой мультимодальной интеграции и согласованию, (ii) смягчать "переобдумывание" и галлюцинации, (iii) поддерживать согласованность при работе с длинными входными данными и (iv) повышать стабильность обучения и т.д. Мы переосмысливаем сокращение токенов как нечто большее, чем мера эффективности. Таким образом, мы намечаем перспективные направления будущих исследований, включая проектирование алгоритмов, сокращение токенов под руководством обучения с подкреплением, оптимизацию токенов для обучения в контексте, а также более широкие области машинного обучения и науки. Мы подчеркиваем его потенциал для создания новых архитектур моделей и стратегий обучения, которые повышают устойчивость, увеличивают интерпретируемость и лучше согласуются с целями генеративного моделирования.

English

In Transformer architectures, tokens\textemdash discrete units derived from raw data\textemdash are formed by segmenting inputs into fixed-length chunks. Each token is then mapped to an embedding, enabling parallel attention computations while preserving the input's essential information. Due to the quadratic computational complexity of transformer self-attention mechanisms, token reduction has primarily been used as an efficiency strategy. This is especially true in single vision and language domains, where it helps balance computational costs, memory usage, and inference latency. Despite these advances, this paper argues that token reduction should transcend its traditional efficiency-oriented role in the era of large generative models. Instead, we position it as a fundamental principle in generative modeling, critically influencing both model architecture and broader applications. Specifically, we contend that across vision, language, and multimodal systems, token reduction can: (i) facilitate deeper multimodal integration and alignment, (ii) mitigate "overthinking" and hallucinations, (iii) maintain coherence over long inputs, and (iv) enhance training stability, etc. We reframe token reduction as more than an efficiency measure. By doing so, we outline promising future directions, including algorithm design, reinforcement learning-guided token reduction, token optimization for in-context learning, and broader ML and scientific domains. We highlight its potential to drive new model architectures and learning strategies that improve robustness, increase interpretability, and better align with the objectives of generative modeling.