TokDrift: Cuando el LLM habla en subpalabras pero el código habla en gramática

TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar

October 16, 2025

Autores: Yinxi Li, Yuntian Deng, Pengyu Nie

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) para código dependen de tokenizadores de subpalabras, como la codificación de pares de bytes (BPE, por sus siglas en inglés), aprendidos a partir de una mezcla de texto en lenguaje natural y código de lenguajes de programación, pero guiados por estadísticas en lugar de gramática. Como resultado, fragmentos de código semánticamente idénticos pueden ser tokenizados de manera diferente dependiendo de factores superficiales como los espacios en blanco o la nomenclatura de identificadores. Para medir el impacto de esta desalineación, presentamos TokDrift, un marco que aplica reglas de reescritura que preservan la semántica para crear variantes de código que difieren únicamente en la tokenización. En nueve LLMs de código, incluidos modelos grandes con más de 30 mil millones de parámetros, incluso cambios menores en el formato pueden causar alteraciones sustanciales en el comportamiento del modelo. Un análisis por capas muestra que el problema se origina en las primeras incrustaciones, donde la segmentación de subpalabras no logra capturar los límites de los tokens gramaticales. Nuestros hallazgos identifican la tokenización desalineada como un obstáculo oculto para la comprensión y generación confiable de código, destacando la necesidad de una tokenización consciente de la gramática para futuros LLMs de código.

English

Large language models (LLMs) for code rely on subword tokenizers, such as byte-pair encoding (BPE), learned from mixed natural language text and programming language code but driven by statistics rather than grammar. As a result, semantically identical code snippets can be tokenized differently depending on superficial factors such as whitespace or identifier naming. To measure the impact of this misalignment, we introduce TokDrift, a framework that applies semantic-preserving rewrite rules to create code variants differing only in tokenization. Across nine code LLMs, including large ones with over 30B parameters, even minor formatting changes can cause substantial shifts in model behavior. Layer-wise analysis shows that the issue originates in early embeddings, where subword segmentation fails to capture grammar token boundaries. Our findings identify misaligned tokenization as a hidden obstacle to reliable code understanding and generation, highlighting the need for grammar-aware tokenization for future code LLMs.