FREESON: Усиление рассуждений без использования ретривера через обход корпуса с помощью MCTS

FREESON: Retriever-Free Retrieval-Augmented Reasoning via Corpus-Traversing MCTS

May 22, 2025

Авторы: Chaeeun Kim, Seungone Kim

cs.AI

Аннотация

Крупные модели рассуждений (Large Reasoning Models, LRMs) продемонстрировали выдающиеся способности в многошаговых рассуждениях и вызове поисковых систем на соответствующих этапах. Однако существующие подходы, усиленные поиском, полагаются на отдельные модели поиска, ограничивая роль LRM в поиске решением о том, когда извлекать данные и как формулировать запросы. Такое разделение не только увеличивает аппаратные и операционные затраты, но и приводит к ошибкам в процессе поиска из-за проблемы узкого места в представлении — явления, при котором пространство эмбеддингов поисковой системы недостаточно выразительно для удовлетворения требований генератора. Чтобы решить эту проблему, мы меняем подход с последовательного сопоставления на поиск путей, содержащих ответы, внутри корпуса, и предлагаем новую структуру под названием FREESON (Retriever-FREE Retrieval-Augmented ReaSONing). Эта структура позволяет LRM самостоятельно извлекать релевантные знания, выступая одновременно в роли генератора и поисковой системы. Для достижения этого мы вводим модификацию алгоритма MCTS, специализированную для задачи поиска, которую называем CT-MCTS (Corpus-Traversing Monte Carlo Tree Search). В этом алгоритме LRM перемещаются по корпусу в направлении областей, содержащих ответы. Наши результаты на пяти бенчмарках для открытых вопросов, включая одношаговые и многошаговые вопросы, показывают, что FREESON обеспечивает среднее улучшение на 14,4% по метрикам EM и F1 по сравнению с четырьмя моделями многошаговых рассуждений с отдельной поисковой системой, а также демонстрирует сопоставимую производительность с самым сильным базовым подходом, превосходя его на 3% на PopQA и 2WikiMultihopQA.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in multi-step reasoning and calling search engines at appropriate steps. However, existing retrieval-augmented reasoning approaches rely on separate retrieval models, limiting the LRM's role in retrieval to deciding when to retrieve and how to query. This separation not only increases hardware and operational costs but also leads to errors in the retrieval process due to the representation bottleneck, a phenomenon where the retriever's embedding space is not expressive enough to meet the generator's requirements. To address this, we shift our perspective from sequence-to-sequence matching to locating the answer-containing paths within the corpus, and propose a novel framework called FREESON (Retriever-FREE Retrieval-Augmented ReaSONing). This framework enables LRMs to retrieve relevant knowledge on their own by acting as both a generator and retriever. To achieve this, we introduce a variant of the MCTS algorithm specialized for the retrieval task, which we call CT-MCTS (Corpus-Traversing Monte Carlo Tree Search). In this algorithm, LRMs traverse through the corpus toward answer-containing regions. Our results on five open-domain QA benchmarks, including single-hop and multi-hop questions, show that FREESON achieves an average improvement of 14.4% in EM and F1 over four multi-step reasoning models with a separate retriever, and it also performs comparably to the strongest baseline, surpassing it by 3% on PopQA and 2WikiMultihopQA.