FREESON: Raciocínio Aumentado por Recuperação sem Recuperador via MCTS de Travessia de Corpus

FREESON: Retriever-Free Retrieval-Augmented Reasoning via Corpus-Traversing MCTS

May 22, 2025

Autores: Chaeeun Kim, Seungone Kim

cs.AI

Resumo

Modelos de Raciocínio de Grande Escala (LRMs) demonstraram capacidades notáveis em raciocínio de múltiplos passos e em chamar motores de busca em etapas apropriadas. No entanto, as abordagens existentes de raciocínio aumentado por recuperação dependem de modelos de recuperação separados, limitando o papel do LRM na recuperação a decidir quando recuperar e como consultar. Essa separação não apenas aumenta os custos de hardware e operacionais, mas também leva a erros no processo de recuperação devido ao gargalo de representação, um fenômeno em que o espaço de incorporação do recuperador não é expressivo o suficiente para atender às necessidades do gerador. Para resolver isso, mudamos nossa perspectiva de correspondência sequência-para-sequência para localizar os caminhos que contêm a resposta dentro do corpus, e propomos uma nova estrutura chamada FREESON (Raciocínio Aumentado por Recuperação SEM Recuperador). Essa estrutura permite que os LRMs recuperem conhecimento relevante por conta própria, atuando tanto como gerador quanto como recuperador. Para alcançar isso, introduzimos uma variante do algoritmo MCTS especializada para a tarefa de recuperação, que chamamos de CT-MCTS (Busca em Árvore de Monte Carlo de Travessia de Corpus). Nesse algoritmo, os LRMs percorrem o corpus em direção a regiões que contêm respostas. Nossos resultados em cinco benchmarks de QA de domínio aberto, incluindo perguntas de salto único e de múltiplos saltos, mostram que o FREESON alcança uma melhoria média de 14,4% em EM e F1 sobre quatro modelos de raciocínio de múltiplos passos com um recuperador separado, e também tem um desempenho comparável ao baseline mais forte, superando-o em 3% no PopQA e 2WikiMultihopQA.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in multi-step reasoning and calling search engines at appropriate steps. However, existing retrieval-augmented reasoning approaches rely on separate retrieval models, limiting the LRM's role in retrieval to deciding when to retrieve and how to query. This separation not only increases hardware and operational costs but also leads to errors in the retrieval process due to the representation bottleneck, a phenomenon where the retriever's embedding space is not expressive enough to meet the generator's requirements. To address this, we shift our perspective from sequence-to-sequence matching to locating the answer-containing paths within the corpus, and propose a novel framework called FREESON (Retriever-FREE Retrieval-Augmented ReaSONing). This framework enables LRMs to retrieve relevant knowledge on their own by acting as both a generator and retriever. To achieve this, we introduce a variant of the MCTS algorithm specialized for the retrieval task, which we call CT-MCTS (Corpus-Traversing Monte Carlo Tree Search). In this algorithm, LRMs traverse through the corpus toward answer-containing regions. Our results on five open-domain QA benchmarks, including single-hop and multi-hop questions, show that FREESON achieves an average improvement of 14.4% in EM and F1 over four multi-step reasoning models with a separate retriever, and it also performs comparably to the strongest baseline, surpassing it by 3% on PopQA and 2WikiMultihopQA.