DeepRAG: Schrittweise zum Abrufen für große Sprachmodelle

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

Autoren: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben ein bemerkenswertes Potenzial im Bereich des Schlussfolgerns gezeigt, leiden jedoch immer noch unter schwerwiegenden faktischen Halluzinationen aufgrund von Aktualität, Genauigkeit und Abdeckung des parametrischen Wissens. Gleichzeitig bleibt die Integration von Schlussfolgern mit abrufgesteigerter Generierung (RAG) aufgrund einer ineffektiven Aufgabenzerlegung und redundanter Abrufvorgänge eine Herausforderung, die Rauschen einführen und die Qualität der Antworten beeinträchtigen kann. In diesem Artikel schlagen wir DeepRAG vor, ein Framework, das abrufgestütztes Schlussfolgern als Markov-Entscheidungsprozess (MDP) modelliert, um strategische und adaptive Abrufvorgänge zu ermöglichen. Durch die iterative Zerlegung von Abfragen bestimmt DeepRAG dynamisch, ob externes Wissen abgerufen oder auf parametrisches Schlussfolgern in jedem Schritt zurückgegriffen werden soll. Experimente zeigen, dass DeepRAG die Abrufeffizienz verbessert und die Antwortgenauigkeit um 21,99% steigert, was seine Wirksamkeit bei der Optimierung von abrufgestütztem Schlussfolgern demonstriert.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.