DynamicRAG: 大規模言語モデルの出力をフィードバックとして活用した検索拡張生成における動的再ランキング

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

著者: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

要旨

検索拡張生成（RAG）システムは、大規模言語モデル（LLM）と外部知識検索を組み合わせることで、知識集約型タスクにおいて非常に効果的です。これらのシステムにおいて重要なものの、しばしば十分に検討されていないコンポーネントがリランカーであり、これは検索された文書を洗練させて生成品質と説明可能性を向上させます。最適な文書数（k）を選択するという課題は未解決のままです：少なすぎると重要な情報が欠落し、多すぎるとノイズや非効率性が生じます。最近の研究ではLLMベースのリランカーが探求されていますが、それらは主にモデルの内部知識を活用し、LLMが提供できる豊富な監督信号（例えば、応答品質をリランキング決定の最適化のためのフィードバックとして使用するなど）を見落としています。本論文では、リランカーがクエリに基づいて検索された文書の順序と数を動的に調整する新しいRAGフレームワークであるDynamicRAGを提案します。我々はリランカーを強化学習（RL）を通じて最適化されたエージェントとしてモデル化し、LLMの出力品質から得られる報酬を使用します。7つの知識集約型データセットにおいて、DynamicRAGは優れた性能を示し、最先端の結果を達成しています。モデル、データ、コードはhttps://github.com/GasolSun36/DynamicRAGで公開されています。

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG