ConvSearch-R1: Miglioramento della Riformulazione delle Query per la Ricerca Conversazionale con Ragionamento tramite Apprendimento per Rinforzo

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

Autori: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

Abstract

I sistemi di ricerca conversazionale richiedono una gestione efficace di query dipendenti dal contesto che spesso contengono ambiguità, omissioni e coreferenze. La Riformulazione di Query Conversazionali (CQR) affronta questa sfida trasformando queste query in forme autonome adatte a sistemi di recupero standard. Tuttavia, gli approcci CQR esistenti soffrono di due limitazioni critiche: un'elevata dipendenza da supervisione esterna costosa, derivante da annotazioni umane o modelli linguistici di grandi dimensioni, e un allineamento insufficiente tra il modello di riscrittura e i sistemi di recupero downstream. Presentiamo ConvSearch-R1, il primo framework autoguidato che elimina completamente la dipendenza dalla supervisione esterna per la riscrittura, sfruttando l'apprendimento per rinforzo per ottimizzare direttamente la riformulazione attraverso segnali di recupero. Il nostro approccio innovativo a due fasi combina un Riscaldamento della Politica Autoguidata per affrontare il problema dell'avvio a freddo attraverso l'auto-distillazione guidata dal recupero, seguito da un Apprendimento per Rinforzo Guidato dal Recupero con un meccanismo di incentivazione del ranking appositamente progettato che risolve il problema della sparsità nelle metriche di recupero convenzionali. Esperimenti estesi sui dataset TopiOCQA e QReCC dimostrano che ConvSearch-R1 supera significativamente i precedenti metodi all'avanguardia, ottenendo un miglioramento superiore al 10% sul complesso dataset TopiOCQA utilizzando modelli più piccoli da 3 miliardi di parametri senza alcuna supervisione esterna.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.