Wissen vor dem Sprechen: LLM-Repräsentationen kodieren Informationen über den Erfolg von Gedankenketten vor der Vollendung

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Autoren: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Zusammenfassung

Wir untersuchen, ob der Erfolg eines Zero-Shot Chain-of-Thought (CoT)-Prozesses vor dessen Abschluss vorhergesagt werden kann. Wir entdecken, dass ein Klassifikator, der auf LLM-Repräsentationen basiert, bereits vor der Generierung eines einzigen Tokens gute Leistungen erbringt, was darauf hindeutet, dass entscheidende Informationen über den Denkprozess bereits in den Anfangsphasen der Repräsentationen vorhanden sind. Im Gegensatz dazu schneidet ein starker BERT-basierter Ansatz, der sich ausschließlich auf die generierten Tokens stützt, schlechter ab, wahrscheinlich weil er sich auf oberflächliche linguistische Hinweise und nicht auf tiefere Denkdynamiken verlässt. Überraschenderweise verbessert die Verwendung späterer Denkschritte die Klassifikation nicht immer. Wenn zusätzlicher Kontext nicht hilfreich ist, ähneln frühere Repräsentationen den späteren stärker, was darauf hindeutet, dass LLMs Schlüsselinformationen frühzeitig kodieren. Dies impliziert, dass der Denkprozess oft frühzeitig beendet werden kann, ohne dass Informationen verloren gehen. Um dies zu testen, führen wir Experimente zum frühzeitigen Stoppen durch, die zeigen, dass das Kürzen des CoT-Denkprozesses die Leistung im Vergleich zur vollständigen Vermeidung von CoT immer noch verbessert, obwohl eine Lücke im Vergleich zum vollständigen Denkprozess bleibt. Ansätze wie überwachtes Lernen oder bestärkendes Lernen, die darauf abzielen, CoT-Ketten zu verkürzen, könnten jedoch die Anleitung unseres Klassifikators nutzen, um zu identifizieren, wann ein frühzeitiges Stoppen effektiv ist. Unsere Erkenntnisse liefern Einblicke, die solche Methoden unterstützen könnten, um die Effizienz von CoT zu optimieren und gleichzeitig dessen Vorteile zu bewahren.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.