Ottenere Flessibilità del Tokenizer nei Modelli Linguistici attraverso Adattamento Euristico e Apprendimento di Supertoken

Achieving Tokenizer Flexibility in Language Models through Heuristic Adaptation and Supertoken Learning

May 14, 2025

Autori: Shaurya Sharthak, Vinayak Pahalwan, Adithya Kamath, Adarsh Shirawalmath

cs.AI

Abstract

I modelli linguistici preaddestrati (LLM) sono spesso limitati dai loro schemi di tokenizzazione fissi, portando a inefficienze e limitazioni nelle prestazioni, specialmente per applicazioni multilingue o specializzate. Questo blocco del tokenizer presenta sfide significative. I metodi standard per superarlo spesso richiedono risorse computazionali proibitive. Sebbene la sostituzione del tokenizer con inizializzazione euristica miri a ridurre questo onere, i metodi esistenti spesso richiedono una fine-tuning residua esaustiva e potrebbero non preservare completamente le sfumature semantiche o affrontare adeguatamente le inefficienze di compressione sottostanti. Il nostro framework introduce due innovazioni: primo, Tokenadapt, un metodo di trapianto del tokenizer agnostico rispetto al modello, e secondo, un nuovo apprendimento di pre-tokenizzazione per Supertoken multi-parola per migliorare la compressione e ridurre la frammentazione. Tokenadapt inizializza nuovi token unici tramite un'euristica ibrida che combina due metodi: una stima locale basata sulla decomposizione di sottoparole utilizzando il vecchio tokenizer, e una stima globale che utilizza i top-k token semanticamente simili dal vocabolario originale. Questa metodologia mira a preservare la semantica riducendo significativamente i requisiti di riaddestramento. Le indagini empiriche convalidano entrambi i contributi: l'euristica di trapianto inizializza con successo token unici, superando nettamente i baselines convenzionali e metodi sofisticati come Transtokenizer e ReTok, mentre i nostri Supertoken ottengono guadagni di compressione notevoli. I nostri risultati di perplessità zero-shot dimostrano che l'inizializzazione ibrida di TokenAdapt produce costantemente rapporti di perplessità più bassi rispetto ai baselines ReTok e TransTokenizer su diversi modelli di base e nuovi tokenizer target. TokenAdapt ha tipicamente ridotto il rapporto complessivo di perplessità in modo significativo rispetto a ReTok, ottenendo almeno un miglioramento di 2 volte in questi punteggi aggregati.

English

Pretrained language models (LLMs) are often constrained by their fixed tokenization schemes, leading to inefficiencies and performance limitations, particularly for multilingual or specialized applications. This tokenizer lock-in presents significant challenges. standard methods to overcome this often require prohibitive computational resources. Although tokenizer replacement with heuristic initialization aims to reduce this burden, existing methods often require exhaustive residual fine-tuning and still may not fully preserve semantic nuances or adequately address the underlying compression inefficiencies. Our framework introduces two innovations: first, Tokenadapt, a model-agnostic tokenizer transplantation method, and second, novel pre-tokenization learning for multi-word Supertokens to enhance compression and reduce fragmentation. Tokenadapt initializes new unique token embeddings via a hybrid heuristic that combines two methods: a local estimate based on subword decomposition using the old tokenizer, and a global estimate utilizing the top-k semantically similar tokens from the original vocabulary. This methodology aims to preserve semantics while significantly minimizing retraining requirements. Empirical investigations validate both contributions: the transplantation heuristic successfully initializes unique tokens, markedly outperforming conventional baselines and sophisticated methods including Transtokenizer and ReTok, while our Supertokens achieve notable compression gains. Our zero-shot perplexity results demonstrate that the TokenAdapt hybrid initialization consistently yields lower perplexity ratios compared to both ReTok and TransTokenizer baselines across different base models and newly trained target tokenizers. TokenAdapt typically reduced the overall perplexity ratio significantly compared to ReTok, yielding at least a 2-fold improvement in these aggregate scores.