DeepRAG: 大規模言語モデルのための段階的なリトリーバル思考

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

著者: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

要旨

大規模言語モデル（LLMs）は、推論において顕著な潜在能力を示していますが、時機適性、正確性、およびパラメトリック知識のカバレッジの不足により、深刻な事実の幻覚に苦しんでいます。一方で、推論と検索拡張生成（RAG）を統合することは、効果的なタスク分解と冗長な検索によるノイズの導入や応答品質の低下という理由から依然として難しい状況です。本論文では、DeepRAGというフレームワークを提案し、検索拡張推論をマルコフ決定過程（MDP）としてモデル化することで、戦略的かつ適応的な検索を実現しています。DeepRAGは、クエリを反復的に分解することで、各ステップで外部知識を取得するかパラメトリック推論に依存するかを動的に決定します。実験結果は、DeepRAGが回答の正確性を21.99%向上させる一方で、検索効率を向上させることを示し、検索拡張推論の最適化においてその効果を証明しています。

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.