DynamicRAG: 검색 증강 생성에서 동적 재순위화를 위한 피드백으로서 대규모 언어 모델의 출력 활용

DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

May 12, 2025

저자: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

cs.AI

초록

검색 강화 생성(Retrieval-Augmented Generation, RAG) 시스템은 대규모 언어 모델(LLM)과 외부 지식 검색을 결합하여 지식 집약적 작업에 매우 효과적입니다. 이러한 시스템에서 중요한 역할을 하지만 종종 간과되는 구성 요소는 리랭커(Re-ranker)로, 검색된 문서를 정제하여 생성 품질과 설명 가능성을 향상시킵니다. 최적의 문서 수(k)를 선택하는 문제는 여전히 해결되지 않은 과제입니다: 너무 적은 문서는 중요한 정보를 누락시킬 수 있고, 너무 많은 문서는 노이즈와 비효율성을 초래합니다. 최근 연구에서는 LLM 기반 리랭커를 탐구했지만, 주로 모델 내부 지식을 활용하고 LLM이 제공할 수 있는 풍부한 감독 신호(예: 응답 품질을 리랭킹 결정 최적화를 위한 피드백으로 사용)를 간과했습니다. 본 논문에서는 리랭커가 쿼리에 따라 검색된 문서의 순서와 수를 동적으로 조정하는 새로운 RAG 프레임워크인 DynamicRAG를 제안합니다. 우리는 리랭커를 강화 학습(RL)을 통해 최적화된 에이전트로 모델링하고, LLM 출력 품질에서 도출된 보상을 사용합니다. 7개의 지식 집약적 데이터셋에서 DynamicRAG는 최첨단 성능을 달성하며 우수한 성능을 입증했습니다. 모델, 데이터 및 코드는 https://github.com/GasolSun36/DynamicRAG에서 확인할 수 있습니다.

English

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker, which refines retrieved documents to enhance generation quality and explainability. The challenge of selecting the optimal number of documents (k) remains unsolved: too few may omit critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG