MCTS-RAG: モンテカルロ木探索による検索拡張生成の強化

MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search

March 26, 2025

著者: Yunhai Hu, Yilun Zhao, Chen Zhao, Arman Cohan

cs.AI

要旨

我々はMCTS-RAGを提案する。これは、知識集約型タスクにおける小規模言語モデルの推論能力を強化する新しいアプローチであり、関連する文脈を提供するための検索拡張生成（RAG）と、推論経路を洗練するためのモンテカルロ木探索（MCTS）を活用する。MCTS-RAGは、反復的な意思決定プロセスを通じて検索と推論を動的に統合する。標準的なRAG手法が推論とは独立して情報を検索し、知識の統合が最適でない場合や、従来のMCTS推論が外部の事実に依存せず内部モデルの知識のみに依存する場合とは異なり、MCTS-RAGは構造化された推論と適応的な検索を組み合わせる。この統合アプローチにより、意思決定が強化され、幻覚が減少し、事実の正確性と応答の一貫性が向上する。複数の推論および知識集約型データセット（ComplexWebQA、GPQA、FoolMeTwice）での実験結果は、我々の手法が小規模言語モデルにGPT-4oのような最先端大規模言語モデルに匹敵する性能を達成させ、推論時の計算を効果的にスケーリングすることで、小規模モデルにおける推論の新たな基準を確立することを示している。

English

We introduce MCTS-RAG, a novel approach that enhances the reasoning capabilities of small language models on knowledge-intensive tasks by leveraging retrieval-augmented generation (RAG) to provide relevant context and Monte Carlo Tree Search (MCTS) to refine reasoning paths. MCTS-RAG dynamically integrates retrieval and reasoning through an iterative decision-making process. Unlike standard RAG methods, which typically retrieve information independently from reasoning and thus integrate knowledge suboptimally, or conventional MCTS reasoning, which depends solely on internal model knowledge without external facts, MCTS-RAG combines structured reasoning with adaptive retrieval. This integrated approach enhances decision-making, reduces hallucinations, and ensures improved factual accuracy and response consistency. The experimental results on multiple reasoning and knowledge-intensive datasets datasets (i.e., ComplexWebQA, GPQA, and FoolMeTwice) show that our method enables small-scale LMs to achieve performance comparable to frontier LLMs like GPT-4o by effectively scaling inference-time compute, setting a new standard for reasoning in small-scale models.