DynamicRAG: Использование выходных данных крупной языковой модели в качестве обратной связи для динамического переранжирования в генерации с усилением поиска

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

Авторы: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

Аннотация

Системы генерации с усилением поиском (RAG) объединяют большие языковые модели (LLM) с извлечением внешних знаний, что делает их высокоэффективными для задач, требующих глубоких знаний. Ключевым, но часто недостаточно изученным компонентом этих систем является реранкер, который уточняет извлеченные документы для повышения качества генерации и объяснимости. Проблема выбора оптимального количества документов (k) остается нерешенной: слишком малое количество может упустить критически важную информацию, а слишком большое — вносит шум и неэффективность. Хотя в последних исследованиях изучались реранкеры на основе LLM, они в основном используют внутренние знания модели и упускают богатые сигналы, которые LLM могут предоставить, такие как использование качества ответа в качестве обратной связи для оптимизации решений по реранкингу. В данной статье мы предлагаем DynamicRAG, новую RAG-структуру, в которой реранкер динамически корректирует как порядок, так и количество извлеченных документов на основе запроса. Мы моделируем реранкер как агента, оптимизированного с помощью обучения с подкреплением (RL), используя награды, полученные из качества вывода LLM. На семи наборах данных, требующих глубоких знаний, DynamicRAG демонстрирует превосходную производительность, достигая результатов, соответствующих современным стандартам. Модель, данные и код доступны по адресу https://github.com/GasolSun36/DynamicRAG.

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG