ReSearch: Redeneren Leren met Zoeken voor LLM's via Reinforcement Learning

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

March 25, 2025

Auteurs: Mingyang Chen, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Fan Yang, Zenan Zhou, Weipeng Chen, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben opmerkelijke vaardigheden getoond in redeneren, zoals geïllustreerd door het succes van OpenAI-o1 en DeepSeek-R1. Het integreren van redeneren met externe zoekprocessen blijft echter een uitdaging, vooral voor complexe meerstapsvragen die meerdere ophaalstappen vereisen. Wij stellen ReSearch voor, een nieuw framework dat LLMs traint om te Redeneren met Zoeken via reinforcement learning zonder gebruik te maken van gesuperviseerde data over redeneerstappen. Onze benadering behandelt zoekoperaties als integrale componenten van de redeneerketen, waarbij wanneer en hoe te zoeken wordt geleid door tekstgebaseerd denken, en zoekresultaten vervolgens verdere redenering beïnvloeden. We trainen ReSearch op Qwen2.5-7B(-Instruct) en Qwen2.5-32B(-Instruct) modellen en voeren uitgebreide experimenten uit. Ondanks dat ze slechts op één dataset zijn getraind, tonen onze modellen een sterke generaliseerbaarheid over verschillende benchmarks. Analyse onthult dat ReSearch van nature geavanceerde redeneervaardigheden zoals reflectie en zelfcorrectie oproept tijdens het reinforcement learning proces.

English

Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.