TokDrift: Когда языковая модель говорит субсловами, а код говорит грамматикой

TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar

October 16, 2025

Авторы: Yinxi Li, Yuntian Deng, Pengyu Nie

cs.AI

Аннотация

Крупные языковые модели (LLM) для работы с кодом используют субсловные токенизаторы, такие как байт-парное кодирование (BPE), обученные на смеси текстов на естественном языке и кода на языках программирования, но основанные на статистике, а не на грамматике. В результате семантически идентичные фрагменты кода могут быть токенизированы по-разному в зависимости от поверхностных факторов, таких как пробелы или именование идентификаторов. Чтобы измерить влияние этого несоответствия, мы представляем TokDrift — фреймворк, который применяет семантически сохраняющие правила перезаписи для создания вариантов кода, отличающихся только токенизацией. На девяти моделях LLM для кода, включая крупные с более чем 30 миллиардами параметров, даже незначительные изменения форматирования могут вызывать существенные сдвиги в поведении модели. Послойный анализ показывает, что проблема возникает на ранних этапах встраивания, где субсловная сегментация не учитывает границы грамматических токенов. Наши результаты указывают на несоответствие токенизации как скрытое препятствие для надежного понимания и генерации кода, подчеркивая необходимость грамматически осознанной токенизации для будущих LLM, работающих с кодом.

English

Large language models (LLMs) for code rely on subword tokenizers, such as byte-pair encoding (BPE), learned from mixed natural language text and programming language code but driven by statistics rather than grammar. As a result, semantically identical code snippets can be tokenized differently depending on superficial factors such as whitespace or identifier naming. To measure the impact of this misalignment, we introduce TokDrift, a framework that applies semantic-preserving rewrite rules to create code variants differing only in tokenization. Across nine code LLMs, including large ones with over 30B parameters, even minor formatting changes can cause substantial shifts in model behavior. Layer-wise analysis shows that the issue originates in early embeddings, where subword segmentation fails to capture grammar token boundaries. Our findings identify misaligned tokenization as a hidden obstacle to reliable code understanding and generation, highlighting the need for grammar-aware tokenization for future code LLMs.