FREESON: Ragionamento Aumentato dal Recupero senza Recuperatore tramite MCTS che Attraversa il Corpus

FREESON: Retriever-Free Retrieval-Augmented Reasoning via Corpus-Traversing MCTS

May 22, 2025

Autori: Chaeeun Kim, Seungone Kim

cs.AI

Abstract

I Large Reasoning Models (LRMs) hanno dimostrato capacità notevoli nel ragionamento a più passaggi e nell'utilizzo di motori di ricerca nei momenti appropriati. Tuttavia, gli approcci esistenti di ragionamento potenziato dal recupero delle informazioni si basano su modelli di recupero separati, limitando il ruolo dell'LRM nel recupero alla decisione di quando recuperare e come interrogare. Questa separazione non solo aumenta i costi hardware e operativi, ma porta anche a errori nel processo di recupero a causa del collo di bottiglia della rappresentazione, un fenomeno in cui lo spazio di embedding del retriever non è sufficientemente espressivo per soddisfare i requisiti del generatore. Per affrontare questo problema, spostiamo la nostra prospettiva dalla corrispondenza sequenza-a-sequenza alla localizzazione dei percorsi contenenti la risposta all'interno del corpus, e proponiamo un nuovo framework chiamato FREESON (Retriever-FREE Retrieval-Augmented ReaSONing). Questo framework consente agli LRM di recuperare autonomamente le conoscenze rilevanti agendo sia come generatore che come retriever. Per raggiungere questo obiettivo, introduciamo una variante dell'algoritmo MCTS specializzata per il compito di recupero, che chiamiamo CT-MCTS (Corpus-Traversing Monte Carlo Tree Search). In questo algoritmo, gli LRM attraversano il corpus verso le regioni contenenti le risposte. I nostri risultati su cinque benchmark di QA a dominio aperto, inclusi quesiti a singolo e multi-hop, mostrano che FREESON ottiene un miglioramento medio del 14,4% in EM e F1 rispetto a quattro modelli di ragionamento a più passaggi con un retriever separato, e si comporta in modo comparabile al baseline più forte, superandolo del 3% su PopQA e del 2% su 2WikiMultihopQA.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in multi-step reasoning and calling search engines at appropriate steps. However, existing retrieval-augmented reasoning approaches rely on separate retrieval models, limiting the LRM's role in retrieval to deciding when to retrieve and how to query. This separation not only increases hardware and operational costs but also leads to errors in the retrieval process due to the representation bottleneck, a phenomenon where the retriever's embedding space is not expressive enough to meet the generator's requirements. To address this, we shift our perspective from sequence-to-sequence matching to locating the answer-containing paths within the corpus, and propose a novel framework called FREESON (Retriever-FREE Retrieval-Augmented ReaSONing). This framework enables LRMs to retrieve relevant knowledge on their own by acting as both a generator and retriever. To achieve this, we introduce a variant of the MCTS algorithm specialized for the retrieval task, which we call CT-MCTS (Corpus-Traversing Monte Carlo Tree Search). In this algorithm, LRMs traverse through the corpus toward answer-containing regions. Our results on five open-domain QA benchmarks, including single-hop and multi-hop questions, show that FREESON achieves an average improvement of 14.4% in EM and F1 over four multi-step reasoning models with a separate retriever, and it also performs comparably to the strongest baseline, surpassing it by 3% on PopQA and 2WikiMultihopQA.