MCTS-RAG: Улучшение генерации с подкреплением поиском с использованием метода Монте-Карло для деревьев поиска

MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search

March 26, 2025

Авторы: Yunhai Hu, Yilun Zhao, Chen Zhao, Arman Cohan

cs.AI

Аннотация

Мы представляем MCTS-RAG — новый подход, который повышает способность небольших языковых моделей к рассуждению в задачах, требующих глубоких знаний, за счёт использования генерации, усиленной поиском (RAG), для предоставления релевантного контекста, и метода поиска по дереву Монте-Карло (MCTS) для уточнения путей рассуждения. MCTS-RAG динамически интегрирует поиск и рассуждение через итеративный процесс принятия решений. В отличие от стандартных методов RAG, которые обычно извлекают информацию независимо от рассуждений и, следовательно, интегрируют знания неоптимально, или традиционного MCTS, который полагается исключительно на внутренние знания модели без использования внешних фактов, MCTS-RAG сочетает структурированное рассуждение с адаптивным поиском. Этот интегрированный подход улучшает принятие решений, снижает вероятность галлюцинаций и обеспечивает повышенную точность фактов и согласованность ответов. Экспериментальные результаты на нескольких наборах данных, требующих рассуждений и глубоких знаний (например, ComplexWebQA, GPQA и FoolMeTwice), показывают, что наш метод позволяет небольшим языковым моделям достигать производительности, сопоставимой с передовыми LLM, такими как GPT-4, за счёт эффективного масштабирования вычислений на этапе вывода, устанавливая новый стандарт для рассуждений в небольших моделях.

English

We introduce MCTS-RAG, a novel approach that enhances the reasoning capabilities of small language models on knowledge-intensive tasks by leveraging retrieval-augmented generation (RAG) to provide relevant context and Monte Carlo Tree Search (MCTS) to refine reasoning paths. MCTS-RAG dynamically integrates retrieval and reasoning through an iterative decision-making process. Unlike standard RAG methods, which typically retrieve information independently from reasoning and thus integrate knowledge suboptimally, or conventional MCTS reasoning, which depends solely on internal model knowledge without external facts, MCTS-RAG combines structured reasoning with adaptive retrieval. This integrated approach enhances decision-making, reduces hallucinations, and ensures improved factual accuracy and response consistency. The experimental results on multiple reasoning and knowledge-intensive datasets datasets (i.e., ComplexWebQA, GPQA, and FoolMeTwice) show that our method enables small-scale LMs to achieve performance comparable to frontier LLMs like GPT-4o by effectively scaling inference-time compute, setting a new standard for reasoning in small-scale models.