DynamicRAG: Gebruik van uitvoer van grote taalmodellen als feedback voor dynamische herrangschikking in retrieval-augmented generatie

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

Auteurs: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

Samenvatting

Retrieval-augmented generation (RAG)-systemen combineren grote taalmmodellen (LLMs) met externe kennisretrieval, waardoor ze zeer effectief zijn voor kennisintensieve taken. Een cruciaal maar vaak onderbelicht onderdeel van deze systemen is de herrangschikker (reranker), die opgehaalde documenten verfijnt om de generatiekwaliteit en uitlegbaarheid te verbeteren. De uitdaging van het selecteren van het optimale aantal documenten (k) blijft onopgelost: te weinig documenten kunnen kritieke informatie weglaten, terwijl te veel documenten ruis en inefficiënties introduceren. Hoewel recente studies LLM-gebaseerde herrangschikkers hebben onderzocht, maken ze vooral gebruik van interne modelkennis en negeren ze de rijke superviserende signalen die LLMs kunnen bieden, zoals het gebruik van responskwaliteit als feedback voor het optimaliseren van herrangschikkingsbeslissingen. In dit artikel stellen we DynamicRAG voor, een nieuw RAG-raamwerk waarin de herrangschikker zowel de volgorde als het aantal opgehaalde documenten dynamisch aanpast op basis van de query. We modelleren de herrangschikker als een agent die wordt geoptimaliseerd via reinforcement learning (RL), waarbij beloningen worden afgeleid van de kwaliteit van de LLM-uitvoer. Over zeven kennisintensieve datasets toont DynamicRAG superieure prestaties en behaalt het state-of-the-art resultaten. Het model, de data en de code zijn beschikbaar op https://github.com/GasolSun36/DynamicRAG.

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG