Restricciones de Tokenización en LLMs: Un Estudio sobre los Límites del Razonamiento Simbólico y Aritmético

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

May 20, 2025

Autores: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

cs.AI

Resumen

La tokenización es la primera - y a menudo subestimada - capa de computación en los modelos de lenguaje. Si bien el prompting de Cadena de Pensamiento (CoT, por sus siglas en inglés) permite que los modelos transformadores aproximen la computación recurrente al externalizar pasos intermedios, demostramos que el éxito de dicho razonamiento está fundamentalmente limitado por la estructura de las entradas tokenizadas. Este trabajo presenta una investigación teórica y empírica sobre cómo los esquemas de tokenización, particularmente los métodos basados en subpalabras como la codificación de pares de bytes (BPE, por sus siglas en inglés), obstaculizan la computación simbólica al fusionar u oscurecer unidades atómicas de razonamiento. Introducimos la noción de Conciencia de Tokens para formalizar cómo una granularidad deficiente de los tokens interrumpe la alineación lógica y evita que los modelos generalicen procedimientos simbólicos. A través de una evaluación sistemática en tareas aritméticas y simbólicas, demostramos que la estructura de los tokens afecta drásticamente el rendimiento del razonamiento, causando fallos incluso con CoT, mientras que los formatos atómicamente alineados desbloquean una fuerte generalización, permitiendo que modelos pequeños (por ejemplo, GPT-4o-mini) superen a sistemas más grandes (por ejemplo, o1) en razonamiento estructurado. Nuestros hallazgos revelan que la capacidad de razonamiento simbólico en los LLM no es puramente arquitectónica, sino que está profundamente condicionada por las representaciones a nivel de tokens.

English

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.