Savoir avant de dire : Les représentations des LLM encodent des informations sur la réussite du raisonnement en chaîne avant la complétion

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Auteurs: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Résumé

Nous étudions si le succès d'un processus de Chaîne de Pensée (CoT) en zero-shot peut être prédit avant son achèvement. Nous découvrons qu'un classifieur de sondage, basé sur les représentations d'un modèle de langage (LLM), performe bien avant même qu'un seul token ne soit généré, suggérant que des informations cruciales sur le processus de raisonnement sont déjà présentes dans les représentations des étapes initiales. En revanche, un modèle de référence fort basé sur BERT, qui repose uniquement sur les tokens générés, performe moins bien, probablement parce qu'il dépend d'indices linguistiques superficiels plutôt que de dynamiques de raisonnement plus profondes. Étonnamment, l'utilisation d'étapes de raisonnement ultérieures n'améliore pas toujours la classification. Lorsque le contexte supplémentaire n'est pas utile, les représentations initiales ressemblent davantage aux représentations ultérieures, suggérant que les LLM encodent les informations clés tôt dans le processus. Cela implique que le raisonnement peut souvent s'arrêter prématurément sans perte. Pour tester cela, nous menons des expériences d'arrêt précoce, montrant que tronquer le raisonnement CoT améliore toujours les performances par rapport à l'absence totale de CoT, bien qu'un écart subsiste par rapport au raisonnement complet. Cependant, des approches comme l'apprentissage supervisé ou l'apprentissage par renforcement conçues pour raccourcir les chaînes CoT pourraient tirer parti des indications de notre classifieur pour identifier quand l'arrêt précoce est efficace. Nos résultats fournissent des insights qui pourraient soutenir de telles méthodes, aidant à optimiser l'efficacité de CoT tout en préservant ses avantages.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.