DynamicRAG: Nutzung der Ausgaben großer Sprachmodelle als Feedback für dynamisches Neurausrichten in der retrievergestützten Generierung

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

Autoren: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

Zusammenfassung

Retrieval-augmented Generation (RAG)-Systeme kombinieren große Sprachmodelle (LLMs) mit externer Wissensabfrage, wodurch sie besonders effektiv für wissensintensive Aufgaben sind. Eine entscheidende, aber oft wenig erforschte Komponente dieser Systeme ist der Reranker, der abgerufene Dokumente verfeinert, um die Generierungsqualität und Erklärbarkeit zu verbessern. Die Herausforderung, die optimale Anzahl von Dokumenten (k) auszuwählen, bleibt ungelöst: Zu wenige könnten kritische Informationen auslassen, während zu viele Rauschen und Ineffizienzen einführen. Obwohl neuere Studien LLM-basierte Reranker untersucht haben, nutzen diese hauptsächlich internes Modellwissen und übersehen die reichhaltigen Überwachungssignale, die LLMs liefern können, wie z. B. die Nutzung der Antwortqualität als Feedback zur Optimierung von Reranking-Entscheidungen. In diesem Artikel schlagen wir DynamicRAG vor, ein neuartiges RAG-Framework, bei dem der Reranker sowohl die Reihenfolge als auch die Anzahl der abgerufenen Dokumente dynamisch an die Anfrage anpasst. Wir modellieren den Reranker als Agenten, der durch Reinforcement Learning (RL) optimiert wird, wobei Belohnungen auf der Grundlage der LLM-Ausgabequalität abgeleitet werden. Über sieben wissensintensive Datensätze hinweg zeigt DynamicRAG eine überlegene Leistung und erzielt state-of-the-art Ergebnisse. Das Modell, die Daten und der Code sind unter https://github.com/GasolSun36/DynamicRAG verfügbar.

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG