Restrições de Tokenização em LLMs: Um Estudo sobre os Limites do Raciocínio Simbólico e Aritmético

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

May 20, 2025

Autores: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

cs.AI

Resumo

Tokenização é a primeira - e frequentemente subestimada - camada de computação em modelos de linguagem. Embora o prompting de Cadeia de Pensamento (CoT, do inglês Chain-of-Thought) permita que modelos transformadores aproximem computações recorrentes ao externalizar etapas intermediárias, mostramos que o sucesso desse raciocínio é fundamentalmente limitado pela estrutura das entradas tokenizadas. Este trabalho apresenta uma investigação teórica e empírica sobre como esquemas de tokenização, particularmente métodos baseados em subpalavras como a codificação byte-pair (BPE), dificultam a computação simbólica ao fundir ou obscurecer unidades atômicas de raciocínio. Introduzimos a noção de Consciência de Token para formalizar como uma granularidade inadequada de tokens perturba o alinhamento lógico e impede que os modelos generalizem procedimentos simbólicos. Por meio de avaliação sistemática em tarefas aritméticas e simbólicas, demonstramos que a estrutura dos tokens afeta drasticamente o desempenho do raciocínio, causando falhas mesmo com CoT, enquanto formatos atomicamente alinhados desbloqueiam uma forte generalização, permitindo que modelos pequenos (por exemplo, GPT-4o-mini) superem sistemas maiores (por exemplo, o1) em raciocínio estruturado. Nossas descobertas revelam que a capacidade de raciocínio simbólico em LLMs não é puramente arquitetônica, mas profundamente condicionada pelas representações em nível de token.

English

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.