zip2zip: Адаптивные словари для языковых моделей во время вывода через сжатие токенов

zip2zip: Inference-Time Adaptive Vocabularies for Language Models via Token Compression

June 1, 2025

Авторы: Saibo Geng, Nathan Ranchin, Yunzhen yao, Maxime Peyrard, Chris Wendler, Michael Gastpar, Robert West

cs.AI

Аннотация

Эффективность токенизации играет ключевую роль в производительности и стоимости больших языковых моделей (LLM), однако большинство моделей полагаются на статические токенизаторы, оптимизированные для универсальных корпусов. Фиксированные словари этих токенизаторов часто не адаптируются к доменно- или языково-специфичным данным, что приводит к увеличению длины токеновых последовательностей и росту вычислительных затрат. Мы представляем zip2zip — фреймворк, который позволяет LLM динамически адаптировать словарь токенов во время инференса, что приводит к уменьшению количества генерируемых токенов и, как следствие, к ускорению инференса. zip2zip состоит из трёх ключевых компонентов: (1) токенизатора на основе сжатия Лемпеля-Зива-Велча (LZW), который динамически сжимает токены в повторно используемые "гипертокены"; (2) слоя эмбеддингов, который вычисляет эмбеддинги для вновь образованных гипертокенов в режиме реального времени; и (3) варианта каузального языкового моделирования, который обучает модель работать с гипертокенизированными, сжатыми последовательностями. Мы показываем, что существующую LLM можно адаптировать под zip2zip за 10 GPU-часов с помощью параметрически эффективного тонкого обучения. Полученные zip2zip LLM эффективно учатся использовать гипертокены во время инференса, сокращая длину входных и выходных последовательностей на 20–60%, что приводит к значительному улучшению задержки инференса.

English

Tokenization efficiency plays a critical role in the performance and cost of large language models (LLMs), yet most models rely on static tokenizers optimized for general-purpose corpora. These tokenizers' fixed vocabularies often fail to adapt to domain- or language-specific inputs, leading to longer token sequences and higher computational costs. We introduce zip2zip, a framework that enables LLMs to dynamically adjust token vocabulary at inference time, allowing for fewer generated tokens and thus faster inference. zip2zip consists of three key components: (1) a tokenizer based on Lempel-Ziv-Welch (LZW) compression that incrementally compresses tokens into reusable "hypertokens" on the fly; (2) an embedding layer that computes embeddings for newly formed hypertokens at runtime; and (3) a causal language modeling variant that trains the model to operate on hypertokenized, compressed sequences. We show that an existing LLM can be zip2zip-fied in 10 GPU-hours via parameter-efficient finetuning. The resulting zip2zip LLMs effectively learn to use hypertokens at inference time, reducing input and output sequence length by 20-60\%, with significant improvements in inference latency.