ConvSearch-R1: Verbesserung der Abfragereformulierung für konversationelle Suche durch Reasoning mittels Reinforcement Learning

ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning

May 21, 2025

Autoren: Changtai Zhu, Siyin Wang, Ruijun Feng, Kai Song, Xipeng Qiu

cs.AI

Zusammenfassung

Konversationelle Suchsysteme erfordern eine effektive Handhabung von kontextabhängigen Anfragen, die oft Mehrdeutigkeit, Auslassungen und Koreferenz enthalten. Conversational Query Reformulation (CQR) begegnet dieser Herausforderung, indem diese Anfragen in eigenständige Formen transformiert werden, die für Standard-Retriever geeignet sind. Allerdings leiden bestehende CQR-Ansätze unter zwei kritischen Einschränkungen: einer hohen Abhängigkeit von kostspieliger externer Überwachung durch menschliche Annotationen oder große Sprachmodelle sowie einer unzureichenden Abstimmung zwischen dem Umformulierungsmodell und den nachgelagerten Retrievern. Wir präsentieren ConvSearch-R1, das erste selbstgesteuerte Framework, das die Abhängigkeit von externer Umformulierungsüberwachung vollständig eliminiert, indem es Reinforcement Learning nutzt, um die Umformulierung direkt durch Retrieval-Signale zu optimieren. Unser neuartiger zweistufiger Ansatz kombiniert Self-Driven Policy Warm-Up, um das Cold-Start-Problem durch retrieval-gesteuerte Selbst-Distillation zu lösen, gefolgt von Retrieval-Guided Reinforcement Learning mit einem speziell entwickelten Rank-Incentive-Reward-Shaping-Mechanismus, der das Sparsity-Problem in konventionellen Retrieval-Metriken adressiert. Umfangreiche Experimente auf den Datensätzen TopiOCQA und QReCC zeigen, dass ConvSearch-R1 bisherige State-of-the-Art-Methoden deutlich übertrifft und eine Verbesserung von über 10 % auf dem anspruchsvollen TopiOCQA-Datensatz erreicht, während kleinere 3B-Parameter-Modelle ohne jegliche externe Überwachung verwendet werden.

English

Conversational search systems require effective handling of context-dependent queries that often contain ambiguity, omission, and coreference. Conversational Query Reformulation (CQR) addresses this challenge by transforming these queries into self-contained forms suitable for off-the-shelf retrievers. However, existing CQR approaches suffer from two critical constraints: high dependency on costly external supervision from human annotations or large language models, and insufficient alignment between the rewriting model and downstream retrievers. We present ConvSearch-R1, the first self-driven framework that completely eliminates dependency on external rewrite supervision by leveraging reinforcement learning to optimize reformulation directly through retrieval signals. Our novel two-stage approach combines Self-Driven Policy Warm-Up to address the cold-start problem through retrieval-guided self-distillation, followed by Retrieval-Guided Reinforcement Learning with a specially designed rank-incentive reward shaping mechanism that addresses the sparsity issue in conventional retrieval metrics. Extensive experiments on TopiOCQA and QReCC datasets demonstrate that ConvSearch-R1 significantly outperforms previous state-of-the-art methods, achieving over 10% improvement on the challenging TopiOCQA dataset while using smaller 3B parameter models without any external supervision.