ConvSearch-R1: Aprimorando a Reformulação de Consultas para Busca Conversacional com Raciocínio via Aprendizado por Reforço

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

Autores: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

Resumo

Sistemas de busca conversacional exigem um tratamento eficaz de consultas dependentes de contexto que frequentemente contêm ambiguidade, omissão e correferência. A Reformulação de Consultas Conversacionais (CQR, do inglês Conversational Query Reformulation) aborda esse desafio transformando essas consultas em formas autossuficientes adequadas para recuperadores prontos para uso. No entanto, as abordagens existentes de CQR sofrem com duas limitações críticas: alta dependência de supervisão externa custosa, proveniente de anotações humanas ou de grandes modelos de linguagem, e alinhamento insuficiente entre o modelo de reescrita e os recuperadores subsequentes. Apresentamos o ConvSearch-R1, o primeiro framework autodirigido que elimina completamente a dependência de supervisão externa para reescrita, utilizando aprendizado por reforço para otimizar a reformulação diretamente por meio de sinais de recuperação. Nossa abordagem inovadora em duas etapas combina o Aquecimento de Política Autodirigida para resolver o problema de inicialização a frio por meio de autodistilação guiada por recuperação, seguido por Aprendizado por Reforço Guiado por Recuperação com um mecanismo de recompensa especialmente projetado que incentiva a classificação, abordando a questão de esparsidade nas métricas convencionais de recuperação. Experimentos extensivos nos conjuntos de dados TopiOCQA e QReCC demonstram que o ConvSearch-R1 supera significativamente os métodos state-of-the-art anteriores, alcançando uma melhoria de mais de 10% no desafiador conjunto de dados TopiOCQA, enquanto utiliza modelos menores com 3 bilhões de parâmetros sem qualquer supervisão externa.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.