MCTS-RAG: Verbetering van Retrieval-Augmented Generation met Monte Carlo Tree Search

MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search

March 26, 2025

Auteurs: Yunhai Hu, Yilun Zhao, Chen Zhao, Arman Cohan

cs.AI

Samenvatting

We introduceren MCTS-RAG, een nieuwe aanpak die de redeneervaardigheden van kleine taalmodelen verbetert bij kennisintensieve taken door gebruik te maken van retrieval-augmented generation (RAG) om relevante context te bieden en Monte Carlo Tree Search (MCTS) om redeneerpaden te verfijnen. MCTS-RAG integreert retrieval en redenering dynamisch via een iteratief besluitvormingsproces. In tegenstelling tot standaard RAG-methoden, die informatie doorgaans onafhankelijk van redenering ophalen en daardoor kennis suboptimaal integreren, of conventionele MCTS-redenering, die uitsluitend afhankelijk is van interne modelkennis zonder externe feiten, combineert MCTS-RAG gestructureerd redeneren met adaptieve retrieval. Deze geïntegreerde aanpak verbetert de besluitvorming, vermindert hallucinaties en zorgt voor een betere feitelijke nauwkeurigheid en responsconsistentie. De experimentele resultaten op meerdere redeneer- en kennisintensieve datasets (zoals ComplexWebQA, GPQA en FoolMeTwice) laten zien dat onze methode kleine taalmodelen in staat stelt om prestaties te bereiken die vergelijkbaar zijn met frontier LLM's zoals GPT-4o door het effectief schalen van rekentijd tijdens inferentie, waarmee een nieuwe standaard wordt gezet voor redeneren in kleine modellen.

English

We introduce MCTS-RAG, a novel approach that enhances the reasoning capabilities of small language models on knowledge-intensive tasks by leveraging retrieval-augmented generation (RAG) to provide relevant context and Monte Carlo Tree Search (MCTS) to refine reasoning paths. MCTS-RAG dynamically integrates retrieval and reasoning through an iterative decision-making process. Unlike standard RAG methods, which typically retrieve information independently from reasoning and thus integrate knowledge suboptimally, or conventional MCTS reasoning, which depends solely on internal model knowledge without external facts, MCTS-RAG combines structured reasoning with adaptive retrieval. This integrated approach enhances decision-making, reduces hallucinations, and ensures improved factual accuracy and response consistency. The experimental results on multiple reasoning and knowledge-intensive datasets datasets (i.e., ComplexWebQA, GPQA, and FoolMeTwice) show that our method enables small-scale LMs to achieve performance comparable to frontier LLMs like GPT-4o by effectively scaling inference-time compute, setting a new standard for reasoning in small-scale models.