ReSearch: Обучение рассуждению с использованием поиска для языковых моделей через обучение с подкреплением

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

March 25, 2025

Авторы: Mingyang Chen, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Fan Yang, Zenan Zhou, Weipeng Chen, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие способности в рассуждениях, что подтверждается успехами моделей OpenAI-o1 и DeepSeek-R1. Однако интеграция рассуждений с внешними процессами поиска остается сложной задачей, особенно для сложных многошаговых вопросов, требующих нескольких этапов извлечения информации. Мы предлагаем ReSearch, новый фреймворк, который обучает LLM рассуждать с использованием поиска через обучение с подкреплением, не используя никаких размеченных данных о шагах рассуждений. Наш подход рассматривает операции поиска как неотъемлемые компоненты цепочки рассуждений, где время и способ выполнения поиска определяются текстовым мышлением, а результаты поиска, в свою очередь, влияют на дальнейшие рассуждения. Мы обучаем ReSearch на моделях Qwen2.5-7B(-Instruct) и Qwen2.5-32B(-Instruct) и проводим обширные эксперименты. Несмотря на обучение только на одном наборе данных, наши модели демонстрируют высокую обобщаемость на различных бенчмарках. Анализ показывает, что ReSearch естественным образом развивает продвинутые способности к рассуждениям, такие как рефлексия и самокоррекция, в процессе обучения с подкреплением.

English

Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.