За пределами последнего ответа: ваш ход рассуждений раскрывает больше, чем вы думаете

Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think

April 29, 2025

Авторы: Hasan Abed Al Kader Hammoud, Hani Itani, Bernard Ghanem

cs.AI

Аннотация

Крупные языковые модели (LLM) используют пошаговые рассуждения для решения сложных задач. Стандартная практика оценки включает генерацию полной цепочки рассуждений и проверку правильности итогового ответа, представленного в её завершении. В данной работе мы подвергаем сомнению зависимость от итогового ответа, задавая два вопроса: Надежно ли итоговый ответ отражает оптимальный вывод модели? Могут ли альтернативные пути рассуждений привести к другим результатам? Чтобы ответить на эти вопросы, мы анализируем промежуточные шаги рассуждений, называемые подмыслями, и предлагаем метод, основанный на наших выводах. Наш подход включает разделение цепочки рассуждений на последовательные подмысли на основе лингвистических маркеров. Мы начинаем с запроса модели на генерацию продолжений с конечной точки каждого промежуточного подмысли. Из каждого завершенного продолжения, исходящего из разных подмыслей, мы извлекаем потенциальный ответ. Мы обнаруживаем, что агрегирование этих ответов путем выбора наиболее частого (моды) часто приводит к значительно более высокой точности по сравнению с использованием только ответа, полученного из исходной полной цепочки. Анализ согласованности между ответами, полученными из разных подмыслей, выявляет характеристики, которые коррелируют с уверенностью и правильностью модели, что указывает на возможность выявления менее надежных ответов. Наши эксперименты с различными LLM и сложными наборами данных для математических рассуждений (AIME2024 и AIME2025) показывают устойчивое улучшение точности с приростом до 13% и 10% соответственно. Реализация доступна по адресу: https://github.com/hammoudhasan/SubthoughtReasoner.

English

Large Language Models (LLMs) leverage step-by-step reasoning to solve complex problems. Standard evaluation practice involves generating a complete reasoning trace and assessing the correctness of the final answer presented at its conclusion. In this paper, we challenge the reliance on the final answer by posing the following two questions: Does the final answer reliably represent the model's optimal conclusion? Can alternative reasoning paths yield different results? To answer these questions, we analyze intermediate reasoning steps, termed subthoughts, and propose a method based on our findings. Our approach involves segmenting a reasoning trace into sequential subthoughts based on linguistic cues. We start by prompting the model to generate continuations from the end-point of each intermediate subthought. We extract a potential answer from every completed continuation originating from different subthoughts. We find that aggregating these answers by selecting the most frequent one (the mode) often yields significantly higher accuracy compared to relying solely on the answer derived from the original complete trace. Analyzing the consistency among the answers derived from different subthoughts reveals characteristics that correlate with the model's confidence and correctness, suggesting potential for identifying less reliable answers. Our experiments across various LLMs and challenging mathematical reasoning datasets (AIME2024 and AIME2025) show consistent accuracy improvements, with gains reaching up to 13\% and 10\% respectively. Implementation is available at: https://github.com/hammoudhasan/SubthoughtReasoner.