Эффективные цепи рассуждений снижают внутреннюю размерность

Effective Reasoning Chains Reduce Intrinsic Dimensionality

February 9, 2026

Авторы: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw

cs.AI

Аннотация

Цепочка рассуждений (CoT) и её варианты значительно улучшили производительность языковых моделей на задачах сложного логического вывода, однако точные механизмы, с помощью которых различные стратегии способствуют обобщению, остаются малоизученными. В то время как современные объяснения часто указывают на увеличение вычислений во время тестирования или структурное руководство, установление последовательной, количественной связи между этими факторами и обобщением остается сложной задачей. В данной работе мы определяем внутреннюю размерность как количественную меру для характеристики эффективности цепочек рассуждений. Внутренняя размерность количественно определяет минимальное количество измерений модели, необходимое для достижения заданного порога точности на конкретной задаче. Фиксируя архитектуру модели и варьируя постановку задачи с помощью различных стратегий рассуждений, мы демонстрируем, что эффективные стратегии рассуждений последовательно снижают внутреннюю размерность задачи. Проверяя это на GSM8K с моделями Gemma-3 1B и 4B, мы наблюдаем сильную обратную корреляцию между внутренней размерностью стратегии рассуждений и её производительностью обобщения как на данных из того же распределения, так и за его пределами. Наши результаты позволяют предположить, что эффективные цепочки рассуждений облегчают обучение за счет лучшего сжатия задачи с использованием меньшего количества параметров, предлагая новую количественную метрику для анализа процессов рассуждений.

English

Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.