ReaRAG: El razonamiento guiado por conocimiento mejora la factualidad de los modelos de razonamiento a gran escala con generación aumentada por recuperación iterativa

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

March 27, 2025

Autores: Zhicheng Lee, Shulin Cao, Jinxin Liu, Jiajie Zhang, Weichuan Liu, Xiaoyin Che, Lei Hou, Juanzi Li

cs.AI

Resumen

Los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) exhiben habilidades de razonamiento notables, pero dependen principalmente del conocimiento paramétrico, lo que limita su precisión factual. Aunque trabajos recientes han equipado a los LRMs basados en aprendizaje por refuerzo (RL) con capacidades de recuperación de información, estos sufren de "sobrepensamiento" y carecen de robustez en el razonamiento, reduciendo su efectividad en tareas de respuesta a preguntas (QA). Para abordar esto, proponemos ReaRAG, un modelo de razonamiento mejorado en factualidad que explora consultas diversas sin iteraciones excesivas. Nuestra solución incluye un marco novedoso de construcción de datos con un límite superior en la longitud de la cadena de razonamiento. Específicamente, primero aprovechamos un LRM para generar pensamiento deliberado, luego seleccionamos una acción de un espacio de acciones predefinido (Buscar y Finalizar). Para la acción Buscar, se ejecuta una consulta en el motor RAG, donde el resultado se devuelve como observación para guiar los pasos de razonamiento posteriores. Este proceso se repite hasta que se elige una acción Finalizar. Beneficiándose de las fuertes capacidades de razonamiento de ReaRAG, nuestro enfoque supera a los baselines existentes en QA de múltiples saltos. Un análisis adicional destaca su fuerte capacidad reflexiva para reconocer errores y refinar su trayectoria de razonamiento. Nuestro estudio mejora la factualidad de los LRMs mientras integra efectivamente un razonamiento robusto para la Generación Aumentada por Recuperación (RAG).

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).