Was zeichnet effektives Denken aus? Eine Neubetrachtung von Länge, Überprüfung und Struktur von CoT
What Characterizes Effective Reasoning? Revisiting Length, Review, and Structure of CoT
September 23, 2025
papers.authors: Yunzhen Feng, Julia Kempe, Cheng Zhang, Parag Jain, Anthony Hartshorn
cs.AI
papers.abstract
Große Reasoning-Modelle (LRMs) verwenden erhebliche Rechenleistung zur Testzeit für lange Chain-of-Thought (CoT)-Spuren, doch was eine effektive CoT *charakterisiert*, bleibt unklar. Während frühere Arbeiten Verbesserungen durch die Verlängerung von CoTs und verstärktes Überprüfen (Rückgriff auf frühere Schritte) durch angehängte *Wait*-Tokens berichten, deuten neuere Studien darauf hin, dass kürzeres Denken längere Spuren übertreffen kann. Daher führen wir eine systematische Auswertung über zehn LRMs in mathematischem und wissenschaftlichem Reasoning durch. Im Gegensatz zur „länger ist besser“-Erzählung stellen wir fest, dass sowohl naive CoT-Verlängerung als auch verstärktes Überprüfen mit *niedrigerer* Genauigkeit verbunden sind.
Während sich CoT Schritt für Schritt entfaltet, können Token-Level-Metriken Weitschweifigkeit mit Prozessqualität vermischen. Wir führen eine Graph-Ansicht von CoT ein, um die Struktur zu extrahieren und identifizieren eine einzelne Kennzahl – den *Failed-Step Fraction (FSF)*, den Anteil der Schritte in abgebrochenen Zweigen –, der durchgängig Länge und Überprüfungsverhältnis bei der Vorhersage der Korrektheit über Modelle hinweg übertrifft. Um Kausalität zu untersuchen, entwerfen wir zwei Interventionen. Erstens ordnen wir Kandidaten-CoTs zur Testzeit nach jeder Metrik, wobei FSF die größten Pass@1-Gewinne liefert; zweitens bearbeiten wir CoTs, um fehlgeschlagene Zweige zu entfernen, was die Genauigkeit signifikant verbessert, was darauf hindeutet, dass fehlgeschlagene Zweige nachfolgendes Reasoning beeinflussen. Zusammengenommen charakterisieren diese Ergebnisse effektive CoTs als solche, die *weniger scheitern*, und unterstützen *strukturbewusstes* Skalieren zur Testzeit gegenüber dem wahllosen Generieren langer CoTs.
English
Large reasoning models (LRMs) spend substantial test-time compute on long
chain-of-thought (CoT) traces, but what *characterizes* an effective CoT
remains unclear. While prior work reports gains from lengthening CoTs and
increasing review (revisiting earlier steps) via appended *wait* tokens, recent
studies suggest that shorter thinking can outperform longer traces. We
therefore conduct a systematic evaluation across ten LRMs on math and
scientific reasoning. Contrary to the "longer-is-better" narrative, we find
that both naive CoT lengthening and increased review are associated with
*lower* accuracy.
As CoT unfolds step by step, token-level metrics can conflate verbosity with
process quality. We introduce a graph view of CoT to extract structure and
identify a single statistic-the *Failed-Step Fraction (FSF)*, the fraction of
steps in abandoned branches-that consistently outpredicts length and review
ratio for correctness across models. To probe causality, we design two
interventions. First, we rank candidate CoTs by each metric at test time, where
FSF yields the largest pass@1 gains; second, we edit CoTs to remove failed
branches, which significantly improves accuracy, indicating that failed
branches bias subsequent reasoning. Taken together, these results characterize
effective CoTs as those that *fail less* and support *structure-aware*
test-time scaling over indiscriminately generating long CoT.