ConvSearch-R1: Mejora de la Reformulación de Consultas para Búsqueda Conversacional con Razonamiento mediante Aprendizaje por Refuerzo

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

Autores: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

Resumen

Los sistemas de búsqueda conversacional requieren un manejo efectivo de consultas dependientes del contexto que a menudo contienen ambigüedad, omisión y correferencia. La Reformulación de Consultas Conversacionales (CQR, por sus siglas en inglés) aborda este desafío transformando estas consultas en formas autónomas adecuadas para recuperadores estándar. Sin embargo, los enfoques existentes de CQR presentan dos limitaciones críticas: una alta dependencia de supervisión externa costosa, ya sea mediante anotaciones humanas o modelos de lenguaje grandes, y una alineación insuficiente entre el modelo de reescritura y los recuperadores posteriores. Presentamos ConvSearch-R1, el primer marco autónomo que elimina por completo la dependencia de supervisión externa para la reescritura, utilizando aprendizaje por refuerzo para optimizar la reformulación directamente a través de señales de recuperación. Nuestro enfoque novedoso de dos etapas combina un Calentamiento de Política Autónoma para abordar el problema de arranque en frío mediante auto-distilación guiada por recuperación, seguido de Aprendizaje por Refuerzo Guiado por Recuperación con un mecanismo de recompensa especialmente diseñado que incentiva el ranking, abordando así el problema de dispersión en las métricas de recuperación convencionales. Experimentos exhaustivos en los conjuntos de datos TopiOCQA y QReCC demuestran que ConvSearch-R1 supera significativamente a los métodos anteriores de vanguardia, logrando una mejora de más del 10% en el desafiante conjunto de datos TopiOCQA mientras utiliza modelos más pequeños de 3B parámetros sin ninguna supervisión externa.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.