MCTS-RAG : Amélioration de la Génération Augmentée par Récupération grâce à la Recherche Arborescente Monte Carlo

MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search

March 26, 2025

Auteurs: Yunhai Hu, Yilun Zhao, Chen Zhao, Arman Cohan

cs.AI

Résumé

Nous présentons MCTS-RAG, une approche novatrice qui améliore les capacités de raisonnement des petits modèles de langage sur des tâches nécessitant une connaissance approfondie, en exploitant la génération augmentée par recherche (RAG) pour fournir un contexte pertinent et la recherche arborescente Monte Carlo (MCTS) pour affiner les chemins de raisonnement. MCTS-RAG intègre dynamiquement la recherche et le raisonnement à travers un processus décisionnel itératif. Contrairement aux méthodes RAG standard, qui récupèrent généralement des informations indépendamment du raisonnement et intègrent ainsi les connaissances de manière sous-optimale, ou au raisonnement MCTS conventionnel, qui dépend uniquement des connaissances internes du modèle sans faits externes, MCTS-RAG combine un raisonnement structuré avec une recherche adaptative. Cette approche intégrée améliore la prise de décision, réduit les hallucinations et garantit une meilleure précision factuelle et une cohérence des réponses. Les résultats expérimentaux sur plusieurs ensembles de données de raisonnement et de connaissances approfondies (c'est-à-dire ComplexWebQA, GPQA et FoolMeTwice) montrent que notre méthode permet aux petits modèles de langage d'atteindre des performances comparables à celles des modèles de langage de pointe comme GPT-4o en optimisant efficacement le calcul lors de l'inférence, établissant ainsi une nouvelle norme pour le raisonnement dans les petits modèles.

English

We introduce MCTS-RAG, a novel approach that enhances the reasoning capabilities of small language models on knowledge-intensive tasks by leveraging retrieval-augmented generation (RAG) to provide relevant context and Monte Carlo Tree Search (MCTS) to refine reasoning paths. MCTS-RAG dynamically integrates retrieval and reasoning through an iterative decision-making process. Unlike standard RAG methods, which typically retrieve information independently from reasoning and thus integrate knowledge suboptimally, or conventional MCTS reasoning, which depends solely on internal model knowledge without external facts, MCTS-RAG combines structured reasoning with adaptive retrieval. This integrated approach enhances decision-making, reduces hallucinations, and ensures improved factual accuracy and response consistency. The experimental results on multiple reasoning and knowledge-intensive datasets datasets (i.e., ComplexWebQA, GPQA, and FoolMeTwice) show that our method enables small-scale LMs to achieve performance comparable to frontier LLMs like GPT-4o by effectively scaling inference-time compute, setting a new standard for reasoning in small-scale models.