Weten voor Spreken: LLM-representaties coderen informatie over Chain-of-Thought-succes voor voltooiing

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Auteurs: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Samenvatting

We onderzoeken of het succes van een zero-shot Chain-of-Thought (CoT)-proces voorspeld kan worden voordat het is voltooid. We ontdekken dat een verkennende classificator, gebaseerd op LLM-representaties, goed presteert zelfs voordat een enkel token is gegenereerd, wat suggereert dat cruciale informatie over het redeneerproces al aanwezig is in de initiële stappenrepresentaties. Daarentegen presteert een sterke BERT-gebaseerde baseline, die uitsluitend vertrouwt op de gegenereerde tokens, slechter, waarschijnlijk omdat deze afhankelijk is van oppervlakkige linguïstische signalen in plaats van diepere redeneerdynamieken. Verrassend genoeg verbetert het gebruik van latere redeneerstappen de classificatie niet altijd. Wanneer aanvullende context niet behulpzaam is, lijken eerdere representaties meer op latere, wat suggereert dat LLM's belangrijke informatie vroegtijdig coderen. Dit impliceert dat redeneren vaak vroegtijdig kan stoppen zonder verlies. Om dit te testen, voeren we vroegtijdige stopexperimenten uit, die aantonen dat het afkappen van CoT-redenering nog steeds de prestaties verbetert ten opzichte van het helemaal niet gebruiken van CoT, hoewel er een kloof blijft in vergelijking met volledige redenering. Echter, benaderingen zoals supervised learning of reinforcement learning die zijn ontworpen om CoT-ketens te verkorten, zouden de begeleiding van onze classificator kunnen benutten om te identificeren wanneer vroegtijdig stoppen effectief is. Onze bevindingen bieden inzichten die dergelijke methoden kunnen ondersteunen, waardoor de efficiëntie van CoT kan worden geoptimaliseerd terwijl de voordelen ervan behouden blijven.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.