Tokenisierungsbeschränkungen in LLMs: Eine Studie zu den Grenzen symbolischen und arithmetischen Denkens

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

May 20, 2025

Autoren: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

cs.AI

Zusammenfassung

Tokenisierung ist die erste – und oft unterschätzte – Ebene der Berechnung in Sprachmodellen. Während Chain-of-Thought (CoT)-Prompting Transformer-Modelle dazu befähigt, wiederkehrende Berechnungen durch die Externalisierung von Zwischenschritten anzunähern, zeigen wir, dass der Erfolg solcher Schlussfolgerungen grundlegend durch die Struktur der tokenisierten Eingaben begrenzt ist. Diese Arbeit präsentiert eine theoretische und empirische Untersuchung darüber, wie Tokenisierungsschemata, insbesondere subwortbasierte Methoden wie Byte-Pair Encoding (BPE), symbolische Berechnungen behindern, indem sie atomare Schlussfolgerungseinheiten zusammenführen oder verschleiern. Wir führen den Begriff der Token Awareness ein, um zu formalisieren, wie eine schlechte Token-Granularität die logische Ausrichtung stört und Modelle daran hindert, symbolische Verfahren zu verallgemeinern. Durch systematische Bewertungen von arithmetischen und symbolischen Aufgaben demonstrieren wir, dass die Token-Struktur die Schlussfolgerungsleistung dramatisch beeinflusst und selbst bei CoT zu Fehlern führt, während atomar ausgerichtete Formate eine starke Generalisierung ermöglichen, sodass kleinere Modelle (z. B. GPT-4o-mini) größere Systeme (z. B. o1) in strukturierter Argumentation übertreffen können. Unsere Ergebnisse zeigen, dass die Fähigkeit zu symbolischem Schlussfolgern in LLMs nicht rein architektonisch bedingt ist, sondern tiefgreifend von Token-Level-Repräsentationen abhängt.

English

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.