Analyse van de Dynamiek van Gedachtegangen: Actieve Begeleiding of Onbetrouwbare Post-hoc Rationalisatie?
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
August 27, 2025
Auteurs: Samuel Lewis-Lim, Xingwei Tan, Zhixue Zhao, Nikolaos Aletras
cs.AI
Samenvatting
Recent onderzoek heeft aangetoond dat Chain-of-Thought (CoT) vaak beperkte verbeteringen oplevert bij soft-reasoning problemen, zoals analytisch en gezond verstand redeneren. CoT kan ook onbetrouwbaar zijn ten opzichte van het daadwerkelijke redeneerproces van een model. Wij onderzoeken de dynamiek en betrouwbaarheid van CoT bij soft-reasoning taken in instruction-tuned, reasoning en reasoning-distilled modellen. Onze bevindingen onthullen verschillen in hoe deze modellen afhankelijk zijn van CoT, en laten zien dat de invloed en betrouwbaarheid van CoT niet altijd op één lijn liggen.
English
Recent work has demonstrated that Chain-of-Thought (CoT) often yields limited
gains for soft-reasoning problems such as analytical and commonsense reasoning.
CoT can also be unfaithful to a model's actual reasoning. We investigate the
dynamics and faithfulness of CoT in soft-reasoning tasks across
instruction-tuned, reasoning and reasoning-distilled models. Our findings
reveal differences in how these models rely on CoT, and show that CoT influence
and faithfulness are not always aligned.