ReaRAG: Управляемое знаниями рассуждение повышает фактическую точность крупных моделей рассуждений с использованием итеративного поиска и генерации с расширением данных

Аннотация

Модели с расширенными возможностями рассуждений (Large Reasoning Models, LRMs) демонстрируют впечатляющие способности к рассуждениям, но в основном полагаются на параметрические знания, что ограничивает их фактическую точность. Хотя недавние работы оснащают LRMs, основанные на обучении с подкреплением (Reinforcement Learning, RL), возможностями поиска информации, они страдают от избыточного анализа и недостаточной устойчивости в рассуждениях, что снижает их эффективность в задачах ответов на вопросы (Question Answering, QA). Для решения этой проблемы мы предлагаем ReaRAG — модель рассуждений, усиленную с точки зрения фактической точности, которая исследует разнообразные запросы без избыточных итераций. Наше решение включает новую структуру построения данных с верхней границей длины цепочки рассуждений. В частности, мы сначала используем LRM для генерации обдуманных рассуждений, затем выбираем действие из предопределенного пространства действий (Поиск и Завершение). Для действия Поиск запрос выполняется в движке RAG, где результат возвращается как наблюдение для последующего руководства шагами рассуждений. Этот процесс повторяется до тех пор, пока не будет выбрано действие Завершение. Благодаря мощным возможностям рассуждений ReaRAG, наш подход превосходит существующие базовые методы в задачах многошагового QA. Дополнительный анализ подчеркивает её сильную рефлексивную способность распознавать ошибки и корректировать траекторию рассуждений. Наше исследование повышает фактическую точность LRMs, эффективно интегрируя устойчивые рассуждения в генерацию, усиленную поиском (Retrieval-Augmented Generation, RAG).

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

Аннотация

Support