Le catene di ragionamento efficaci riducono la dimensionalità intrinseca.
Effective Reasoning Chains Reduce Intrinsic Dimensionality
February 9, 2026
Autori: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw
cs.AI
Abstract
Il ragionamento a catena del pensiero (CoT) e le sue varianti hanno migliorato sostanzialmente le prestazioni dei modelli linguistici su compiti di ragionamento complesso, eppure i meccanismi precisi attraverso i quali le diverse strategie facilitano la generalizzazione rimangono poco compresi. Sebbene le spiegazioni attuali spesso indichino un aumento del calcolo al momento del test o una guida strutturale, stabilire un collegamento coerente e quantificabile tra questi fattori e la generalizzazione rimane una sfida. In questo lavoro, identifichiamo la dimensionalità intrinseca come una misura quantitativa per caratterizzare l'efficacia delle catene di ragionamento. La dimensionalità intrinseca quantifica il numero minimo di dimensioni del modello necessarie per raggiungere una determinata soglia di accuratezza su un dato compito. Mantenendo fissa l'architettura del modello e variando la formulazione del compito attraverso diverse strategie di ragionamento, dimostriamo che le strategie di ragionamento efficaci riducono consistentemente la dimensionalità intrinseca del compito. Validando questo approccio su GSM8K con Gemma-3 da 1B e 4B parametri, osserviamo una forte correlazione inversa tra la dimensionalità intrinseca di una strategia di ragionamento e le sue prestazioni di generalizzazione sia su dati in-distribuzione che out-of-distribuzione. I nostri risultati suggeriscono che le catene di ragionamento efficaci facilitano l'apprendimento comprimendo meglio il compito utilizzando meno parametri, offrendo una nuova metrica quantitativa per analizzare i processi di ragionamento.
English
Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.