Saber Antes de Dizer: Representações de LLMs Codificam Informações sobre o Sucesso da Cadeia de Pensamento Antes da Conclusão

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Autores: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Resumo

Investigamos se o sucesso de um processo de Chain-of-Thought (CoT) zero-shot pode ser previsto antes de sua conclusão. Descobrimos que um classificador de sondagem, baseado em representações de LLMs, tem um bom desempenho mesmo antes que um único token seja gerado, sugerindo que informações cruciais sobre o processo de raciocínio já estão presentes nas representações iniciais. Em contraste, uma linha de base forte baseada em BERT, que depende exclusivamente dos tokens gerados, tem um desempenho pior, provavelmente porque se baseia em pistas linguísticas superficiais em vez de dinâmicas de raciocínio mais profundas. Surpreendentemente, o uso de etapas posteriores de raciocínio nem sempre melhora a classificação. Quando o contexto adicional não é útil, as representações iniciais se assemelham mais às posteriores, sugerindo que os LLMs codificam informações-chave precocemente. Isso implica que o raciocínio pode frequentemente parar mais cedo sem perda. Para testar isso, realizamos experimentos de parada antecipada, mostrando que truncar o raciocínio CoT ainda melhora o desempenho em relação a não usar CoT, embora haja uma lacuna em comparação com o raciocínio completo. No entanto, abordagens como aprendizado supervisionado ou aprendizado por reforço projetadas para encurtar cadeias de CoT poderiam aproveitar a orientação do nosso classificador para identificar quando a parada antecipada é eficaz. Nossas descobertas fornecem insights que podem apoiar tais métodos, ajudando a otimizar a eficiência do CoT enquanto preservam seus benefícios.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.