Oltre l'ultima risposta: la tua traccia di ragionamento rivela più di quanto pensi

Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think

April 29, 2025

Autori: Hasan Abed Al Kader Hammoud, Hani Itani, Bernard Ghanem

cs.AI

Abstract

I Large Language Model (LLM) sfruttano il ragionamento passo-passo per risolvere problemi complessi. La pratica di valutazione standard prevede la generazione di una traccia di ragionamento completa e la valutazione della correttezza della risposta finale presentata alla sua conclusione. In questo articolo, mettiamo in discussione la dipendenza dalla risposta finale ponendo le seguenti due domande: la risposta finale rappresenta in modo affidabile la conclusione ottimale del modello? Percorsi di ragionamento alternativi possono produrre risultati diversi? Per rispondere a queste domande, analizziamo i passaggi intermedi di ragionamento, denominati subthought, e proponiamo un metodo basato sui nostri risultati. Il nostro approccio prevede la segmentazione di una traccia di ragionamento in subthought sequenziali basati su indizi linguistici. Iniziamo sollecitando il modello a generare continuazioni dal punto finale di ciascun subthought intermedio. Estraiamo una potenziale risposta da ogni continuazione completata originata da diversi subthought. Scopriamo che aggregare queste risorse selezionando quella più frequente (la moda) spesso produce un'accuratezza significativamente maggiore rispetto all'affidarsi esclusivamente alla risposta derivata dalla traccia completa originale. L'analisi della coerenza tra le risorse derivate da diversi subthought rivela caratteristiche che correlano con la fiducia e la correttezza del modello, suggerendo un potenziale per identificare risorse meno affidabili. I nostri esperimenti su vari LLM e su dataset impegnativi di ragionamento matematico (AIME2024 e AIME2025) mostrano miglioramenti consistenti nell'accuratezza, con guadagni che raggiungono rispettivamente fino al 13\% e al 10\%. L'implementazione è disponibile all'indirizzo: https://github.com/hammoudhasan/SubthoughtReasoner.

English

Large Language Models (LLMs) leverage step-by-step reasoning to solve complex problems. Standard evaluation practice involves generating a complete reasoning trace and assessing the correctness of the final answer presented at its conclusion. In this paper, we challenge the reliance on the final answer by posing the following two questions: Does the final answer reliably represent the model's optimal conclusion? Can alternative reasoning paths yield different results? To answer these questions, we analyze intermediate reasoning steps, termed subthoughts, and propose a method based on our findings. Our approach involves segmenting a reasoning trace into sequential subthoughts based on linguistic cues. We start by prompting the model to generate continuations from the end-point of each intermediate subthought. We extract a potential answer from every completed continuation originating from different subthoughts. We find that aggregating these answers by selecting the most frequent one (the mode) often yields significantly higher accuracy compared to relying solely on the answer derived from the original complete trace. Analyzing the consistency among the answers derived from different subthoughts reveals characteristics that correlate with the model's confidence and correctness, suggesting potential for identifying less reliable answers. Our experiments across various LLMs and challenging mathematical reasoning datasets (AIME2024 and AIME2025) show consistent accuracy improvements, with gains reaching up to 13\% and 10\% respectively. Implementation is available at: https://github.com/hammoudhasan/SubthoughtReasoner.