Saber antes de decir: Las representaciones de los LLM codifican información sobre el éxito de la cadena de pensamiento antes de la finalización.

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Autores: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Resumen

Investigamos si el éxito de un proceso de Cadena de Pensamiento (CoT) en modo zero-shot puede predecirse antes de su finalización. Descubrimos que un clasificador de sondeo, basado en representaciones de modelos de lenguaje grandes (LLM), tiene un buen desempeño incluso antes de que se genere un solo token, lo que sugiere que la información crucial sobre el proceso de razonamiento ya está presente en las representaciones iniciales. En contraste, una línea de base sólida basada en BERT, que depende únicamente de los tokens generados, tiene un peor desempeño, probablemente porque se basa en indicadores lingüísticos superficiales en lugar de dinámicas de razonamiento más profundas. Sorprendentemente, el uso de pasos de razonamiento posteriores no siempre mejora la clasificación. Cuando el contexto adicional no es útil, las representaciones iniciales se asemejan más a las posteriores, lo que sugiere que los LLM codifican información clave desde el principio. Esto implica que el razonamiento a menudo puede detenerse temprano sin pérdida. Para probar esto, realizamos experimentos de parada temprana, mostrando que truncar el razonamiento CoT aún mejora el rendimiento en comparación con no usar CoT en absoluto, aunque persiste una brecha en comparación con el razonamiento completo. Sin embargo, enfoques como el aprendizaje supervisado o el aprendizaje por refuerzo diseñados para acortar las cadenas de CoT podrían aprovechar la orientación de nuestro clasificador para identificar cuándo la parada temprana es efectiva. Nuestros hallazgos proporcionan ideas que pueden respaldar tales métodos, ayudando a optimizar la eficiencia de CoT mientras se preservan sus beneficios.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.