Alcançando Flexibilidade no Tokenizador de Modelos de Linguagem por meio de Adaptação Heurística e Aprendizado de Supertokens

Achieving Tokenizer Flexibility in Language Models through Heuristic Adaptation and Supertoken Learning

May 14, 2025

Autores: Shaurya Sharthak, Vinayak Pahalwan, Adithya Kamath, Adarsh Shirawalmath

cs.AI

Resumo

Modelos de linguagem pré-treinados (LLMs) são frequentemente limitados por seus esquemas de tokenização fixos, resultando em ineficiências e limitações de desempenho, especialmente para aplicações multilíngues ou especializadas. Esse bloqueio no tokenizador apresenta desafios significativos. Métodos padrão para superar isso geralmente exigem recursos computacionais proibitivos. Embora a substituição do tokenizador com inicialização heurística vise reduzir esse ônus, os métodos existentes frequentemente requerem um ajuste fino residual exaustivo e ainda podem não preservar totalmente as nuances semânticas ou abordar adequadamente as ineficiências subjacentes de compressão. Nosso framework introduz duas inovações: primeiro, Tokenadapt, um método de transplante de tokenizador agnóstico ao modelo, e segundo, um novo aprendizado de pré-tokenização para Supertokens de múltiplas palavras para melhorar a compressão e reduzir a fragmentação. O Tokenadapt inicializa novos embeddings de tokens únicos por meio de uma heurística híbrida que combina dois métodos: uma estimativa local baseada na decomposição de subpalavras usando o tokenizador antigo, e uma estimativa global utilizando os k tokens semanticamente mais similares do vocabulário original. Essa metodologia visa preservar a semântica enquanto minimiza significativamente os requisitos de retreinamento. Investigações empíricas validam ambas as contribuições: a heurística de transplante inicializa com sucesso tokens únicos, superando marcadamente as linhas de base convencionais e métodos sofisticados, incluindo Transtokenizer e ReTok, enquanto nossos Supertokens alcançam ganhos notáveis de compressão. Nossos resultados de perplexidade zero-shot demonstram que a inicialização híbrida do TokenAdapt consistentemente produz taxas de perplexidade mais baixas em comparação com as linhas de base ReTok e TransTokenizer em diferentes modelos base e novos tokenizadores de destino treinados. O TokenAdapt tipicamente reduziu a taxa de perplexidade geral significativamente em comparação com o ReTok, resultando em pelo menos uma melhoria de 2 vezes nessas pontuações agregadas.

English

Pretrained language models (LLMs) are often constrained by their fixed tokenization schemes, leading to inefficiencies and performance limitations, particularly for multilingual or specialized applications. This tokenizer lock-in presents significant challenges. standard methods to overcome this often require prohibitive computational resources. Although tokenizer replacement with heuristic initialization aims to reduce this burden, existing methods often require exhaustive residual fine-tuning and still may not fully preserve semantic nuances or adequately address the underlying compression inefficiencies. Our framework introduces two innovations: first, Tokenadapt, a model-agnostic tokenizer transplantation method, and second, novel pre-tokenization learning for multi-word Supertokens to enhance compression and reduce fragmentation. Tokenadapt initializes new unique token embeddings via a hybrid heuristic that combines two methods: a local estimate based on subword decomposition using the old tokenizer, and a global estimate utilizing the top-k semantically similar tokens from the original vocabulary. This methodology aims to preserve semantics while significantly minimizing retraining requirements. Empirical investigations validate both contributions: the transplantation heuristic successfully initializes unique tokens, markedly outperforming conventional baselines and sophisticated methods including Transtokenizer and ReTok, while our Supertokens achieve notable compression gains. Our zero-shot perplexity results demonstrate that the TokenAdapt hybrid initialization consistently yields lower perplexity ratios compared to both ReTok and TransTokenizer baselines across different base models and newly trained target tokenizers. TokenAdapt typically reduced the overall perplexity ratio significantly compared to ReTok, yielding at least a 2-fold improvement in these aggregate scores.