ReSearch: Aprendendo a Raciocinar com Busca para LLMs por meio de Aprendizado por Reforço

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

March 25, 2025

Autores: Mingyang Chen, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Fan Yang, Zenan Zhou, Weipeng Chen, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado capacidades notáveis de raciocínio, exemplificadas pelo sucesso do OpenAI-o1 e do DeepSeek-R1. No entanto, integrar o raciocínio com processos de busca externa continua sendo um desafio, especialmente para perguntas complexas de múltiplos saltos que exigem várias etapas de recuperação. Propomos o ReSearch, uma nova estrutura que treina LLMs para Raciocinar com Busca por meio de aprendizado por reforço, sem utilizar dados supervisionados sobre etapas de raciocínio. Nossa abordagem trata as operações de busca como componentes integrais da cadeia de raciocínio, onde quando e como realizar buscas é guiado por pensamento baseado em texto, e os resultados da busca influenciam subsequentemente o raciocínio adicional. Treinamos o ReSearch nos modelos Qwen2.5-7B(-Instruct) e Qwen2.5-32B(-Instruct) e conduzimos extensos experimentos. Apesar de serem treinados em apenas um conjunto de dados, nossos modelos demonstram forte generalização em vários benchmarks. A análise revela que o ReSearch naturalmente elicita capacidades avançadas de raciocínio, como reflexão e autocorreção, durante o processo de aprendizado por reforço.

English

Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.