ConvSearch-R1: 강화 학습을 통한 추론 기반 대화형 검색 쿼리 재구성 향상

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

저자: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

초록

대화형 검색 시스템은 모호성, 생략, 공지시(共指示)를 포함하는 경우가 많은 문맥 의존적 질의를 효과적으로 처리해야 합니다. 대화형 질의 재구성(Conversational Query Reformulation, CQR)은 이러한 질의를 기존 검색기에 적합한 독립적인 형태로 변환함으로써 이 문제를 해결합니다. 그러나 기존 CQR 접근법은 두 가지 중요한 한계를 가지고 있습니다: 첫째, 인간 주석이나 대형 언어 모델로부터의 비용이 많이 드는 외부 감독에 대한 높은 의존성, 둘째, 재구성 모델과 하위 검색기 간의 불충분한 정렬입니다. 우리는 ConvSearch-R1을 제안합니다. 이는 강화 학습을 활용하여 검색 신호를 통해 직접 재구성을 최적화함으로써 외부 재구성 감독에 대한 의존성을 완전히 제거한 최초의 자체 주도형 프레임워크입니다. 우리의 새로운 두 단계 접근법은 검색 기반 자기 증류를 통해 콜드 스타트 문제를 해결하는 Self-Driven Policy Warm-Up과, 기존 검색 메트릭의 희소성 문제를 해결하기 위해 특별히 설계된 순위 인센티브 보상 형성 메커니즘을 포함한 Retrieval-Guided Reinforcement Learning을 결합합니다. TopiOCQA 및 QReCC 데이터셋에 대한 광범위한 실험 결과, ConvSearch-R1은 이전의 최첨단 방법들을 크게 능가하며, 특히 어려운 TopiOCQA 데이터셋에서 10% 이상의 성능 향상을 달성하면서도 더 작은 3B 파라미터 모델을 사용하고 외부 감독 없이 이를 달성했습니다.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.