TokDrift: Wanneer LLM in subwoorden spreekt maar code in grammatica

TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar

October 16, 2025

Auteurs: Yinxi Li, Yuntian Deng, Pengyu Nie

cs.AI

Samenvatting

Grote taalmodellen (LLM's) voor code maken gebruik van subwoord-tokenizers, zoals byte-pair encoding (BPE), die worden geleerd uit een mix van natuurlijke taaltekst en programmeertaalcode, maar die worden gestuurd door statistieken in plaats van grammatica. Als gevolg hiervan kunnen semantisch identieke codefragmenten verschillend worden getokeniseerd, afhankelijk van oppervlakkige factoren zoals witruimte of de naamgeving van identifiers. Om de impact van deze misalignering te meten, introduceren we TokDrift, een framework dat semantiekbehoudende herschrijfregels toepast om codevarianten te creëren die alleen verschillen in tokenisatie. Over negen code-LLM's, waaronder grote modellen met meer dan 30B parameters, kunnen zelfs kleine opmaakwijzigingen aanzienlijke verschuivingen in het modelgedrag veroorzaken. Laaggewijze analyse toont aan dat het probleem ontstaat in de vroege embeddings, waar subwoordsegmentatie er niet in slaagt om grammatica-tokengrenzen vast te leggen. Onze bevindingen identificeren misaligneerde tokenisatie als een verborgen obstakel voor betrouwbaar codebegrip en -generatie, en benadrukken de noodzaak van grammaticabewuste tokenisatie voor toekomstige code-LLM's.

English

Large language models (LLMs) for code rely on subword tokenizers, such as byte-pair encoding (BPE), learned from mixed natural language text and programming language code but driven by statistics rather than grammar. As a result, semantically identical code snippets can be tokenized differently depending on superficial factors such as whitespace or identifier naming. To measure the impact of this misalignment, we introduce TokDrift, a framework that applies semantic-preserving rewrite rules to create code variants differing only in tokenization. Across nine code LLMs, including large ones with over 30B parameters, even minor formatting changes can cause substantial shifts in model behavior. Layer-wise analysis shows that the issue originates in early embeddings, where subword segmentation fails to capture grammar token boundaries. Our findings identify misaligned tokenization as a hidden obstacle to reliable code understanding and generation, highlighting the need for grammar-aware tokenization for future code LLMs.