Анализ динамики цепочки рассуждений: активное руководство или недостоверное постфактумное обоснование?
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
August 27, 2025
Авторы: Samuel Lewis-Lim, Xingwei Tan, Zhixue Zhao, Nikolaos Aletras
cs.AI
Аннотация
Недавние исследования показали, что метод "Цепочки рассуждений" (Chain-of-Thought, CoT) часто приносит ограниченные улучшения в задачах, требующих мягкого рассуждения, таких как аналитическое и здравомыслящее рассуждение. Кроме того, CoT может быть несоответствующим фактическому процессу рассуждения модели. Мы исследуем динамику и достоверность CoT в задачах мягкого рассуждения на моделях, настроенных на инструкции, специализированных на рассуждениях и дистиллированных для рассуждений. Наши результаты выявляют различия в том, как эти модели используют CoT, и показывают, что влияние CoT и его достоверность не всегда согласованы.
English
Recent work has demonstrated that Chain-of-Thought (CoT) often yields limited
gains for soft-reasoning problems such as analytical and commonsense reasoning.
CoT can also be unfaithful to a model's actual reasoning. We investigate the
dynamics and faithfulness of CoT in soft-reasoning tasks across
instruction-tuned, reasoning and reasoning-distilled models. Our findings
reveal differences in how these models rely on CoT, and show that CoT influence
and faithfulness are not always aligned.