ConvSearch-R1 : Amélioration de la reformulation de requêtes pour la recherche conversationnelle grâce au raisonnement via l'apprentissage par renforcement

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

Auteurs: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

Résumé

Les systèmes de recherche conversationnelle nécessitent une gestion efficace des requêtes dépendantes du contexte, qui contiennent souvent des ambiguïtés, des omissions et des coréférences. La Reformulation de Requêtes Conversationnelles (CQR) aborde ce défi en transformant ces requêtes en formes autonomes adaptées aux systèmes de récupération standards. Cependant, les approches existantes de CQR souffrent de deux contraintes majeures : une forte dépendance à une supervision externe coûteuse provenant d'annotations humaines ou de grands modèles de langage, et un alignement insuffisant entre le modèle de reformulation et les systèmes de récupération en aval. Nous présentons ConvSearch-R1, le premier cadre autonome qui élimine complètement la dépendance à une supervision externe de reformulation en exploitant l'apprentissage par renforcement pour optimiser la reformulation directement à travers les signaux de récupération. Notre approche innovante en deux étapes combine un Échauffement de Politique Autonome pour résoudre le problème de démarrage à froid grâce à une auto-distillation guidée par la récupération, suivi d'un Apprentissage par Renforcement Guidé par la Récupération avec un mécanisme de récompense spécialement conçu pour inciter au classement, qui résout le problème de parcimonie des métriques de récupération conventionnelles. Des expériences approfondies sur les ensembles de données TopiOCQA et QReCC montrent que ConvSearch-R1 surpasse significativement les méthodes précédentes de pointe, avec une amélioration de plus de 10 % sur le jeu de données complexe TopiOCQA, tout en utilisant des modèles plus petits de 3 milliards de paramètres sans aucune supervision externe.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.