ReSearch: Lernen zu schlussfolgern durch Suche für LLMs mittels Verstärkungslernen

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

March 25, 2025

Autoren: Mingyang Chen, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Fan Yang, Zenan Zhou, Weipeng Chen, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten im Bereich des logischen Denkens gezeigt, wie der Erfolg von OpenAI-o1 und DeepSeek-R1 verdeutlicht. Die Integration von logischem Denken mit externen Suchprozessen bleibt jedoch eine Herausforderung, insbesondere bei komplexen Multi-Hop-Fragen, die mehrere Abrufschritte erfordern. Wir stellen ReSearch vor, ein neuartiges Framework, das LLMs trainiert, mit Hilfe von Verstärkungslernen logisch zu denken und dabei Suchvorgänge zu nutzen, ohne dabei auf überwachte Daten zu Denkschritten zurückzugreifen. Unser Ansatz behandelt Suchoperationen als integrale Bestandteile der Denkkette, wobei wann und wie Suchvorgänge durchgeführt werden, durch textbasiertes Denken gesteuert wird und die Suchergebnisse wiederum das weitere Denken beeinflussen. Wir trainieren ReSearch auf den Modellen Qwen2.5-7B(-Instruct) und Qwen2.5-32B(-Instruct) und führen umfangreiche Experimente durch. Obwohl unsere Modelle nur auf einem einzigen Datensatz trainiert wurden, zeigen sie eine starke Generalisierbarkeit über verschiedene Benchmarks hinweg. Analysen zeigen, dass ReSearch während des Verstärkungslernprozesses fortgeschrittene Denkfähigkeiten wie Reflexion und Selbstkorrektion natürlich hervorruft.

English

Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.