DeepRAG : De la réflexion à l'étape de récupération pas à pas pour les grands modèles de langage

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

Auteurs: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

Résumé

Les grands modèles de langage (LLM) ont montré un potentiel remarquable en matière de raisonnement, mais ils souffrent encore de graves hallucinations factuelles en raison de la pertinence, de la précision et de la couverture des connaissances paramétriques. Parallèlement, l'intégration du raisonnement avec la génération augmentée par récupération (RAG) reste un défi en raison de la décomposition inefficace des tâches et de la récupération redondante, ce qui peut introduire du bruit et dégrader la qualité des réponses. Dans cet article, nous proposons DeepRAG, un cadre qui modélise le raisonnement augmenté par récupération comme un Processus de Décision Markovien (MDP), permettant une récupération stratégique et adaptative. En décomposant de manière itérative les requêtes, DeepRAG détermine dynamiquement s'il faut récupérer des connaissances externes ou s'appuyer sur un raisonnement paramétrique à chaque étape. Les expériences montrent que DeepRAG améliore l'efficacité de la récupération tout en augmentant la précision des réponses de 21,99 %, démontrant ainsi son efficacité dans l'optimisation du raisonnement augmenté par récupération.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.