Les chaînes de raisonnement efficaces réduisent la dimensionnalité intrinsèque

Effective Reasoning Chains Reduce Intrinsic Dimensionality

February 9, 2026

papers.authors: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw

cs.AI

papers.abstract

Le raisonnement par chaîne de pensée (CoT) et ses variantes ont considérablement amélioré les performances des modèles de langage sur les tâches de raisonnement complexes, mais les mécanismes précis par lesquels les différentes stratégies facilitent la généralisation restent mal compris. Si les explications actuelles invoquent souvent une augmentation du calcul au moment du test ou un guidage structurel, établir un lien quantifiable et cohérent entre ces facteurs et la généralisation reste un défi. Dans ce travail, nous identifions la dimension intrinsèque comme une mesure quantitative pour caractériser l'efficacité des chaînes de raisonnement. La dimension intrinsèque quantifie le nombre minimum de dimensions du modèle nécessaire pour atteindre un seuil de précision donné sur une tâche donnée. En maintenant l'architecture du modèle fixe et en faisant varier la formulation de la tâche via différentes stratégies de raisonnement, nous démontrons que les stratégies de raisonnement efficaces réduisent systématiquement la dimension intrinsèque de la tâche. En validant cela sur GSM8K avec Gemma-3 1B et 4B, nous observons une forte corrélation inverse entre la dimension intrinsèque d'une stratégie de raisonnement et ses performances de généralisation sur des données en distribution et hors distribution. Nos résultats suggèrent que les chaînes de raisonnement efficaces facilitent l'apprentissage en compressant mieux la tâche à l'aide de moins de paramètres, offrant ainsi une nouvelle métrique quantitative pour analyser les processus de raisonnement.

English

Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.