Tokenisatiebeperkingen in LLM's: Een onderzoek naar de grenzen van symbolisch en rekenkundig redeneren

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

May 20, 2025

Auteurs: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

cs.AI

Samenvatting

Tokenisatie is de eerste - en vaak ondergewaardeerde - laag van berekening in taalmodelen. Hoewel Chain-of-Thought (CoT) prompting transformermodellen in staat stelt om recurrentie berekening te benaderen door tussenstappen te externaliseren, laten we zien dat het succes van dergelijk redeneren fundamenteel wordt begrensd door de structuur van getokeniseerde invoer. Dit werk presenteert een theoretisch en empirisch onderzoek naar hoe tokenisatieschema's, met name subwoord-gebaseerde methoden zoals byte-pair encoding (BPE), symbolische berekening belemmeren door atomische redeneereenheden samen te voegen of te verhullen. We introduceren het begrip Token Awareness om te formaliseren hoe slechte token granulariteit logische uitlijning verstoort en modellen ervan weerhoudt om symbolische procedures te generaliseren. Door systematische evaluatie van rekenkundige en symbolische taken tonen we aan dat tokenstructuur de redeneerprestaties dramatisch beïnvloedt, wat zelfs met CoT tot falen leidt, terwijl atomisch uitgelijnde formaten sterke generalisatie mogelijk maken, waardoor kleine modellen (bijv. GPT-4o-mini) grotere systemen (bijv. o1) kunnen overtreffen in gestructureerd redeneren. Onze bevindingen onthullen dat het symbolisch redeneervermogen in LLM's niet puur architecturaal is, maar diepgaand wordt bepaald door token-level representaties.

English

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.