Contraintes de tokenisation dans les LLM : Une étude des limites du raisonnement symbolique et arithmétique

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

May 20, 2025

Auteurs: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

cs.AI

Résumé

La tokenisation constitue la première couche de calcul - souvent sous-estimée - dans les modèles de langage. Alors que l'incitation par chaîne de pensée (Chain-of-Thought, CoT) permet aux modèles transformeurs d'approximer un calcul récurrent en externalisant les étapes intermédiaires, nous montrons que le succès d'un tel raisonnement est fondamentalement limité par la structure des entrées tokenisées. Ce travail présente une investigation théorique et empirique sur la manière dont les schémas de tokenisation, en particulier les méthodes basées sur les sous-mots comme l'encodage par paires d'octets (byte-pair encoding, BPE), entravent le calcul symbolique en fusionnant ou en obscurcissant les unités de raisonnement atomiques. Nous introduisons la notion de Conscience des Tokens pour formaliser comment une granularité tokenique inadéquate perturbe l'alignement logique et empêche les modèles de généraliser les procédures symboliques. À travers une évaluation systématique sur des tâches arithmétiques et symboliques, nous démontrons que la structure des tokens affecte considérablement les performances de raisonnement, provoquant des échecs même avec CoT, tandis que des formats alignés atomiquement débloquent une forte généralisation, permettant à de petits modèles (par exemple, GPT-4o-mini) de surpasser des systèmes plus grands (par exemple, o1) dans le raisonnement structuré. Nos résultats révèlent que la capacité de raisonnement symbolique dans les LLM n'est pas purement architecturale, mais profondément conditionnée par les représentations au niveau des tokens.

English

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.