Au-delà de la dernière réponse : Votre trace de raisonnement révèle plus que vous ne le pensez

Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think

April 29, 2025

papers.authors: Hasan Abed Al Kader Hammoud, Hani Itani, Bernard Ghanem

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) exploitent un raisonnement étape par étape pour résoudre des problèmes complexes. La pratique d'évaluation standard consiste à générer une trace de raisonnement complète et à évaluer l'exactitude de la réponse finale présentée à son terme. Dans cet article, nous remettons en question la dépendance à la réponse finale en posant les deux questions suivantes : La réponse finale représente-t-elle de manière fiable la conclusion optimale du modèle ? Des chemins de raisonnement alternatifs peuvent-ils produire des résultats différents ? Pour répondre à ces questions, nous analysons les étapes intermédiaires de raisonnement, appelées sous-pensées, et proposons une méthode basée sur nos découvertes. Notre approche consiste à segmenter une trace de raisonnement en sous-pensées séquentielles basées sur des indices linguistiques. Nous commençons par inciter le modèle à générer des continuations à partir du point final de chaque sous-pensée intermédiaire. Nous extrayons une réponse potentielle de chaque continuation complète provenant de différentes sous-pensées. Nous constatons que l'agrégation de ces réponses en sélectionnant la plus fréquente (le mode) offre souvent une précision significativement plus élevée par rapport à la simple utilisation de la réponse dérivée de la trace complète originale. L'analyse de la cohérence entre les réponses dérivées de différentes sous-pensées révèle des caractéristiques qui corrèlent avec la confiance et l'exactitude du modèle, suggérant un potentiel pour identifier les réponses moins fiables. Nos expériences sur divers LLMs et des ensembles de données complexes de raisonnement mathématique (AIME2024 et AIME2025) montrent des améliorations constantes de la précision, avec des gains atteignant respectivement 13 % et 10 %. L'implémentation est disponible à l'adresse : https://github.com/hammoudhasan/SubthoughtReasoner.

English

Large Language Models (LLMs) leverage step-by-step reasoning to solve complex problems. Standard evaluation practice involves generating a complete reasoning trace and assessing the correctness of the final answer presented at its conclusion. In this paper, we challenge the reliance on the final answer by posing the following two questions: Does the final answer reliably represent the model's optimal conclusion? Can alternative reasoning paths yield different results? To answer these questions, we analyze intermediate reasoning steps, termed subthoughts, and propose a method based on our findings. Our approach involves segmenting a reasoning trace into sequential subthoughts based on linguistic cues. We start by prompting the model to generate continuations from the end-point of each intermediate subthought. We extract a potential answer from every completed continuation originating from different subthoughts. We find that aggregating these answers by selecting the most frequent one (the mode) often yields significantly higher accuracy compared to relying solely on the answer derived from the original complete trace. Analyzing the consistency among the answers derived from different subthoughts reveals characteristics that correlate with the model's confidence and correctness, suggesting potential for identifying less reliable answers. Our experiments across various LLMs and challenging mathematical reasoning datasets (AIME2024 and AIME2025) show consistent accuracy improvements, with gains reaching up to 13\% and 10\% respectively. Implementation is available at: https://github.com/hammoudhasan/SubthoughtReasoner.