Ограничения токенизации в языковых моделях: исследование пределов символического и арифметического мышления

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

May 20, 2025

Авторы: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

cs.AI

Аннотация

Токенизация — это первый, и часто недооцененный, слой вычислений в языковых моделях. Хотя метод Chain-of-Thought (CoT) позволяет трансформерным моделям приближать рекуррентные вычисления за счёт внешнего представления промежуточных шагов, мы показываем, что успех такого рассуждения принципиально ограничен структурой токенизированных входных данных. В данной работе представлено теоретическое и эмпирическое исследование того, как схемы токенизации, в частности субсловные методы, такие как byte-pair encoding (BPE), препятствуют символьным вычислениям, объединяя или скрывая атомарные единицы рассуждений. Мы вводим понятие Token Awareness (осознанности токенов), чтобы формализовать, как низкая гранулярность токенов нарушает логическое выравнивание и препятствует обобщению символьных процедур. Систематическая оценка на арифметических и символьных задачах демонстрирует, что структура токенов существенно влияет на производительность рассуждений, вызывая сбои даже при использовании CoT, тогда как атомарно выровненные форматы открывают возможности для сильного обобщения, позволяя небольшим моделям (например, GPT-4o-mini) превосходить более крупные системы (например, o1) в структурированных рассуждениях. Наши результаты показывают, что способность к символьным рассуждениям в больших языковых моделях (LLM) не является чисто архитектурной, а глубоко обусловлена представлениями на уровне токенов.

English

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.