Effektive Argumentationsketten reduzieren die intrinsische Dimensionalität.

Effective Reasoning Chains Reduce Intrinsic Dimensionality

February 9, 2026

papers.authors: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw

cs.AI

papers.abstract

Chain-of-Thought (CoT)-Reasoning und ihre Varianten haben die Leistung von Sprachmodellen bei komplexen Reasoning-Aufgaben erheblich verbessert, doch die genauen Mechanismen, durch die verschiedene Strategien die Generalisierung ermöglichen, sind nach wie vor unzureichend verstanden. Während aktuelle Erklärungen oft auf erhöhte Berechnungen zur Testzeit oder strukturelle Führung verweisen, bleibt die Herstellung einer konsistenten, quantifizierbaren Verbindung zwischen diesen Faktoren und der Generalisierung eine Herausforderung. In dieser Arbeit identifizieren wir die intrinsische Dimensionalität als quantitatives Maß zur Charakterisierung der Effektivität von Reasoning-Ketten. Die intrinsische Dimensionalität quantifiziert die minimale Anzahl von Modell-Dimensionen, die benötigt wird, um einen bestimmten Genauigkeitsschwellenwert bei einer gegebenen Aufgabe zu erreichen. Indem wir die Modellarchitektur konstant halten und die Aufgabenstellung durch verschiedene Reasoning-Strategien variieren, zeigen wir, dass effektive Reasoning-Strategien konsequent die intrinsische Dimensionalität der Aufgabe reduzieren. Durch Validierung anhand von GSM8K mit Gemma-3 1B und 4B beobachten wir eine starke inverse Korrelation zwischen der intrinsischen Dimensionalität einer Reasoning-Strategie und ihrer Generalisierungsleistung auf sowohl In-Distribution- als auch Out-of-Distribution-Daten. Unsere Ergebnisse legen nahe, dass effektive Reasoning-Ketten das Lernen erleichtern, indem sie die Aufgabe besser mit weniger Parametern komprimieren, und bieten damit eine neue quantitative Metrik zur Analyse von Reasoning-Prozessen.

English

Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.