ConvSearch-R1: Verbetering van Queryherformulering voor Conversatiezoeken met Redenering via Reinforcement Learning

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

Auteurs: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

Samenvatting

Conversationale zoeksystemen vereisen een effectieve verwerking van contextafhankelijke zoekopdrachten die vaak ambiguïteit, weglatingen en coreferentie bevatten. Conversational Query Reformulation (CQR) lost deze uitdaging op door deze zoekopdrachten om te zetten in zelfstandige vormen die geschikt zijn voor standaard retrievers. Bestaande CQR-benaderingen kampen echter met twee kritieke beperkingen: een hoge afhankelijkheid van kostbare externe begeleiding door menselijke annotaties of grote taalmodelen, en onvoldoende afstemming tussen het herschrijvingsmodel en downstream retrievers. Wij presenteren ConvSearch-R1, het eerste zelfgestuurde framework dat de afhankelijkheid van externe herschrijfsupervisie volledig elimineert door reinforcement learning te gebruiken om de herformulering direct te optimaliseren via retrievalsignalen. Onze innovatieve tweefasenbenadering combineert Self-Driven Policy Warm-Up om het cold-start-probleem aan te pakken via retrieval-gestuurde zelfdistillatie, gevolgd door Retrieval-Guided Reinforcement Learning met een speciaal ontworpen rank-incentive beloningsmechanisme dat de spaarzaamheid in conventionele retrievalmetrieken aanpakt. Uitgebreide experimenten op de TopiOCQA- en QReCC-datasets tonen aan dat ConvSearch-R1 aanzienlijk beter presteert dan eerdere state-of-the-art methoden, met een verbetering van meer dan 10% op de uitdagende TopiOCQA-dataset, terwijl kleinere modellen met 3B parameters worden gebruikt zonder enige externe supervisie.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.