Достижение гибкости токенизатора в языковых моделях посредством эвристической адаптации и обучения супертокенов

Achieving Tokenizer Flexibility in Language Models through Heuristic Adaptation and Supertoken Learning

May 14, 2025

Авторы: Shaurya Sharthak, Vinayak Pahalwan, Adithya Kamath, Adarsh Shirawalmath

cs.AI

Аннотация

Предобученные языковые модели (LLM) часто ограничены своими фиксированными схемами токенизации, что приводит к неэффективности и ограничениям в производительности, особенно для многоязычных или специализированных приложений. Эта "зависимость от токенизатора" создает значительные трудности. Стандартные методы для преодоления этого часто требуют непомерных вычислительных ресурсов. Хотя замена токенизатора с эвристической инициализацией направлена на снижение этой нагрузки, существующие методы часто требуют исчерпывающей остаточной тонкой настройки и все же могут не полностью сохранять семантические нюансы или адекватно устранять лежащие в основе неэффективности сжатия. Наш фреймворк представляет два нововведения: во-первых, TokenAdapt, метод трансплантации токенизатора, не зависящий от модели, и, во-вторых, новое предварительное обучение токенизации для многословных Супертокенов, чтобы улучшить сжатие и уменьшить фрагментацию. TokenAdapt инициализирует новые уникальные токеновые эмбеддинги с помощью гибридной эвристики, которая сочетает два метода: локальную оценку, основанную на декомпозиции подслов с использованием старого токенизатора, и глобальную оценку, использующую топ-k семантически схожих токенов из исходного словаря. Эта методология направлена на сохранение семантики при значительном минимизации требований к повторному обучению. Эмпирические исследования подтверждают оба вклада: эвристика трансплантации успешно инициализирует уникальные токены, значительно превосходя традиционные базовые методы и сложные подходы, включая TransTokenizer и ReTok, в то время как наши Супертокены достигают заметных улучшений в сжатии. Наши результаты по нулевому перплексу демонстрируют, что гибридная инициализация TokenAdapt последовательно обеспечивает более низкие коэффициенты перплекса по сравнению с базовыми методами ReTok и TransTokenizer для различных базовых моделей и новых целевых токенизаторов. TokenAdapt обычно значительно снижал общий коэффициент перплекса по сравнению с ReTok, обеспечивая как минимум двукратное улучшение в этих совокупных показателях.

English

Pretrained language models (LLMs) are often constrained by their fixed tokenization schemes, leading to inefficiencies and performance limitations, particularly for multilingual or specialized applications. This tokenizer lock-in presents significant challenges. standard methods to overcome this often require prohibitive computational resources. Although tokenizer replacement with heuristic initialization aims to reduce this burden, existing methods often require exhaustive residual fine-tuning and still may not fully preserve semantic nuances or adequately address the underlying compression inefficiencies. Our framework introduces two innovations: first, Tokenadapt, a model-agnostic tokenizer transplantation method, and second, novel pre-tokenization learning for multi-word Supertokens to enhance compression and reduce fragmentation. Tokenadapt initializes new unique token embeddings via a hybrid heuristic that combines two methods: a local estimate based on subword decomposition using the old tokenizer, and a global estimate utilizing the top-k semantically similar tokens from the original vocabulary. This methodology aims to preserve semantics while significantly minimizing retraining requirements. Empirical investigations validate both contributions: the transplantation heuristic successfully initializes unique tokens, markedly outperforming conventional baselines and sophisticated methods including Transtokenizer and ReTok, while our Supertokens achieve notable compression gains. Our zero-shot perplexity results demonstrate that the TokenAdapt hybrid initialization consistently yields lower perplexity ratios compared to both ReTok and TransTokenizer baselines across different base models and newly trained target tokenizers. TokenAdapt typically reduced the overall perplexity ratio significantly compared to ReTok, yielding at least a 2-fold improvement in these aggregate scores.