DynamicRAG : Exploitation des sorties d'un modèle de langage de grande taille comme feedback pour le reranking dynamique dans la génération augmentée par récupération

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

Auteurs: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

Résumé

Les systèmes de génération augmentée par la récupération (RAG) combinent des modèles de langage de grande taille (LLM) avec la récupération de connaissances externes, les rendant très efficaces pour les tâches nécessitant une expertise approfondie. Un composant crucial mais souvent sous-exploré de ces systèmes est le réordonnanceur, qui affine les documents récupérés pour améliorer la qualité et l'explicabilité de la génération. Le défi de sélectionner le nombre optimal de documents (k) reste non résolu : un nombre trop faible peut omettre des informations critiques, tandis qu'un nombre trop élevé introduit du bruit et des inefficacités. Bien que des études récentes aient exploré des réordonnanceurs basés sur des LLM, elles exploitent principalement les connaissances internes du modèle et négligent les signaux de supervision riches que les LLM peuvent fournir, tels que l'utilisation de la qualité des réponses comme retour pour optimiser les décisions de réordonnancement. Dans cet article, nous proposons DynamicRAG, un nouveau cadre RAG où le réordonnanceur ajuste dynamiquement à la fois l'ordre et le nombre de documents récupérés en fonction de la requête. Nous modélisons le réordonnanceur comme un agent optimisé par apprentissage par renforcement (RL), en utilisant des récompenses dérivées de la qualité des sorties du LLM. Sur sept ensembles de données nécessitant une expertise approfondie, DynamicRAG démontre une performance supérieure, atteignant des résultats de pointe. Le modèle, les données et le code sont disponibles à l'adresse suivante : https://github.com/GasolSun36/DynamicRAG

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG