Sapere Prima di Dire: Le Rappresentazioni dei Modelli Linguistici Codificano Informazioni sul Successo del Ragionamento a Catena Prima del Completamento

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Autori: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Abstract

Indaghiamo se il successo di un processo zero-shot di Chain-of-Thought (CoT) possa essere previsto prima del suo completamento. Scopriamo che un classificatore di probing, basato sulle rappresentazioni di un LLM, performa bene anche prima che venga generato un singolo token, suggerendo che informazioni cruciali sul processo di ragionamento siano già presenti nelle rappresentazioni iniziali. Al contrario, una solida baseline basata su BERT, che si affida esclusivamente ai token generati, performa peggio, probabilmente perché dipende da indizi linguistici superficiali piuttosto che da dinamiche di ragionamento più profonde. Sorprendentemente, l'utilizzo di passaggi di ragionamento successivi non migliora sempre la classificazione. Quando il contesto aggiuntivo non è utile, le rappresentazioni iniziali assomigliano di più a quelle successive, suggerendo che gli LLM codificano le informazioni chiave precocemente. Ciò implica che il ragionamento può spesso fermarsi in anticipo senza perdite. Per testare questa ipotesi, conduciamo esperimenti di early stopping, dimostrando che troncare il ragionamento CoT migliora comunque le prestazioni rispetto a non utilizzare affatto il CoT, sebbene rimanga un divario rispetto al ragionamento completo. Tuttavia, approcci come l'apprendimento supervisionato o l'apprendimento per rinforzo progettati per accorciare le catene CoT potrebbero sfruttare la guida del nostro classificatore per identificare quando l'early stopping è efficace. Le nostre scoperte forniscono intuizioni che potrebbero supportare tali metodi, aiutando a ottimizzare l'efficienza del CoT preservandone i benefici.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.