Além da Última Resposta: Seu Rastro de Raciocínio Revela Mais do que Você Imagina

Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think

April 29, 2025

Autores: Hasan Abed Al Kader Hammoud, Hani Itani, Bernard Ghanem

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) utilizam raciocínio passo a passo para resolver problemas complexos. A prática padrão de avaliação envolve gerar um rastro completo de raciocínio e avaliar a correção da resposta final apresentada em sua conclusão. Neste artigo, questionamos a dependência da resposta final ao propor as seguintes duas perguntas: A resposta final representa de forma confiável a conclusão ótima do modelo? Caminhos alternativos de raciocínio podem gerar resultados diferentes? Para responder a essas perguntas, analisamos etapas intermediárias de raciocínio, denominadas subpensamentos, e propomos um método baseado em nossas descobertas. Nossa abordagem envolve segmentar um rastro de raciocínio em subpensamentos sequenciais com base em pistas linguísticas. Começamos solicitando ao modelo que gere continuações a partir do ponto final de cada subpensamento intermediário. Extraímos uma resposta potencial de cada continuação concluída originada de diferentes subpensamentos. Descobrimos que agregar essas respostas selecionando a mais frequente (a moda) frequentemente resulta em uma precisão significativamente maior em comparação com depender exclusivamente da resposta derivada do rastro completo original. A análise da consistência entre as respostas derivadas de diferentes subpensamentos revela características que correlacionam-se com a confiança e a correção do modelo, sugerindo potencial para identificar respostas menos confiáveis. Nossos experimentos em vários LLMs e conjuntos de dados desafiadores de raciocínio matemático (AIME2024 e AIME2025) mostram melhorias consistentes na precisão, com ganhos atingindo até 13% e 10%, respectivamente. A implementação está disponível em: https://github.com/hammoudhasan/SubthoughtReasoner.

English

Large Language Models (LLMs) leverage step-by-step reasoning to solve complex problems. Standard evaluation practice involves generating a complete reasoning trace and assessing the correctness of the final answer presented at its conclusion. In this paper, we challenge the reliance on the final answer by posing the following two questions: Does the final answer reliably represent the model's optimal conclusion? Can alternative reasoning paths yield different results? To answer these questions, we analyze intermediate reasoning steps, termed subthoughts, and propose a method based on our findings. Our approach involves segmenting a reasoning trace into sequential subthoughts based on linguistic cues. We start by prompting the model to generate continuations from the end-point of each intermediate subthought. We extract a potential answer from every completed continuation originating from different subthoughts. We find that aggregating these answers by selecting the most frequent one (the mode) often yields significantly higher accuracy compared to relying solely on the answer derived from the original complete trace. Analyzing the consistency among the answers derived from different subthoughts reveals characteristics that correlate with the model's confidence and correctness, suggesting potential for identifying less reliable answers. Our experiments across various LLMs and challenging mathematical reasoning datasets (AIME2024 and AIME2025) show consistent accuracy improvements, with gains reaching up to 13\% and 10\% respectively. Implementation is available at: https://github.com/hammoudhasan/SubthoughtReasoner.