DynamicRAG: Sfruttare gli output dei modelli linguistici di grandi dimensioni come feedback per il reranking dinamico nella generazione aumentata dal recupero delle informazioni

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

Autori: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

Abstract

I sistemi di generazione aumentata con recupero (RAG) combinano modelli linguistici di grandi dimensioni (LLM) con il recupero di conoscenze esterne, rendendoli altamente efficaci per compiti ad alta intensità di conoscenza. Un componente cruciale ma spesso poco esplorato di questi sistemi è il riordinatore, che affina i documenti recuperati per migliorare la qualità e la spiegabilità della generazione. La sfida di selezionare il numero ottimale di documenti (k) rimane irrisolta: troppo pochi possono omettere informazioni critiche, mentre troppi introducono rumore e inefficienze. Sebbene studi recenti abbiano esplorato riordinatori basati su LLM, sfruttano principalmente la conoscenza interna del modello e trascurano i ricchi segnali di supervisione che gli LLM possono fornire, come l'utilizzo della qualità della risposta come feedback per ottimizzare le decisioni di riordinamento. In questo articolo, proponiamo DynamicRAG, un nuovo framework RAG in cui il riordinatore regola dinamicamente sia l'ordine che il numero di documenti recuperati in base alla query. Modelliamo il riordinatore come un agente ottimizzato attraverso l'apprendimento per rinforzo (RL), utilizzando ricompense derivate dalla qualità dell'output dell'LLM. Su sette dataset ad alta intensità di conoscenza, DynamicRAG dimostra prestazioni superiori, raggiungendo risultati all'avanguardia. Il modello, i dati e il codice sono disponibili all'indirizzo https://github.com/GasolSun36/DynamicRAG.

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG