ReaRAG : Le raisonnement guidé par la connaissance améliore la factualité des grands modèles de raisonnement grâce à une génération augmentée par itération et récupération

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

March 27, 2025

Auteurs: Zhicheng Lee, Shulin Cao, Jinxin Liu, Jiajie Zhang, Weichuan Liu, Xiaoyin Che, Lei Hou, Juanzi Li

cs.AI

Résumé

Les modèles de raisonnement à grande échelle (LRMs) démontrent des capacités de raisonnement remarquables, mais reposent principalement sur des connaissances paramétriques, ce qui limite leur précision factuelle. Bien que des travaux récents aient doté les LRMs basés sur l'apprentissage par renforcement (RL) de capacités de recherche, ils souffrent de surréflexion et manquent de robustesse dans leur raisonnement, réduisant ainsi leur efficacité dans les tâches de question-réponse (QA). Pour remédier à cela, nous proposons ReaRAG, un modèle de raisonnement amélioré en termes de factualité, qui explore des requêtes variées sans itérations excessives. Notre solution inclut un nouveau cadre de construction de données avec une limite supérieure sur la longueur de la chaîne de raisonnement. Plus précisément, nous utilisons d'abord un LRM pour générer une réflexion délibérée, puis sélectionnons une action dans un espace d'actions prédéfini (Rechercher et Terminer). Pour l'action Rechercher, une requête est exécutée via le moteur RAG, où le résultat est renvoyé comme observation pour guider les étapes de raisonnement ultérieures. Ce processus itère jusqu'à ce qu'une action Terminer soit choisie. Grâce aux solides capacités de raisonnement de ReaRAG, notre approche surpasse les modèles de référence existants dans les tâches de QA multi-sauts. Une analyse approfondie met en évidence sa forte capacité réflexive à reconnaître les erreurs et à affiner sa trajectoire de raisonnement. Notre étude améliore la factualité des LRMs tout en intégrant efficacement un raisonnement robuste pour la Génération Augmentée par Recherche (RAG).

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).