Las cadenas de razonamiento efectivas reducen la dimensionalidad intrínseca.
Effective Reasoning Chains Reduce Intrinsic Dimensionality
February 9, 2026
Autores: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw
cs.AI
Resumen
El razonamiento de cadena de pensamiento (CoT) y sus variantes han mejorado sustancialmente el rendimiento de los modelos de lenguaje en tareas de razonamiento complejo, sin embargo, los mecanismos precisos mediante los cuales las diferentes estrategias facilitan la generalización siguen siendo poco comprendidos. Si bien las explicaciones actuales a menudo señalan un aumento en el cómputo en el momento de la prueba o una guía estructural, establecer un vínculo consistente y cuantificable entre estos factores y la generalización sigue siendo un desafío. En este trabajo, identificamos la dimensionalidad intrínseca como una medida cuantitativa para caracterizar la efectividad de las cadenas de razonamiento. La dimensionalidad intrínseca cuantifica el número mínimo de dimensiones del modelo necesarias para alcanzar un umbral de precisión determinado en una tarea dada. Al mantener la arquitectura del modelo fija y variar la formulación de la tarea mediante diferentes estrategias de razonamiento, demostramos que las estrategias de razonamiento efectivas reducen consistentemente la dimensionalidad intrínseca de la tarea. Validando esto en GSM8K con Gemma-3 1B y 4B, observamos una fuerte correlación inversa entre la dimensionalidad intrínseca de una estrategia de razonamiento y su rendimiento de generalización tanto en datos de distribución interna como externa. Nuestros hallazgos sugieren que las cadenas de razonamiento efectivas facilitan el aprendizaje al comprimir mejor la tarea utilizando menos parámetros, ofreciendo una nueva métrica cuantitativa para analizar los procesos de razonamiento.
English
Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.