Cadeias de Raciocínio Eficazes Reduzem a Dimensionalidade Intrínseca
Effective Reasoning Chains Reduce Intrinsic Dimensionality
February 9, 2026
Autores: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw
cs.AI
Resumo
A razão de cadeia de pensamento (CoT) e suas variantes melhoraram substancialmente o desempenho de modelos de linguagem em tarefas de raciocínio complexo; no entanto, os mecanismos precisos pelos quais diferentes estratégias facilitam a generalização permanecem pouco compreendidos. Embora as explicações atuais frequentemente apontem para o aumento da computação em tempo de teste ou para orientação estrutural, estabelecer uma ligação consistente e quantificável entre esses fatores e a generalização continua a ser um desafio. Neste trabalho, identificamos a dimensionalidade intrínseca como uma medida quantitativa para caracterizar a eficácia das cadeias de raciocínio. A dimensionalidade intrínseca quantifica o número mínimo de dimensões do modelo necessárias para atingir um determinado limiar de precisão numa dada tarefa. Mantendo a arquitetura do modelo fixa e variando a formulação da tarefa através de diferentes estratégias de raciocínio, demonstramos que estratégias de raciocínio eficazes reduzem consistentemente a dimensionalidade intrínseca da tarefa. Validando isto no GSM8K com os modelos Gemma-3 1B e 4B, observamos uma forte correlação inversa entre a dimensionalidade intrínseca de uma estratégia de raciocínio e o seu desempenho de generalização em dados dentro e fora da distribuição. As nossas descobertas sugerem que as cadeias de raciocínio eficazes facilitam a aprendizagem ao comprimir melhor a tarefa usando menos parâmetros, oferecendo uma nova métrica quantitativa para analisar processos de raciocínio.
English
Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.