R1-Searcher++: Het stimuleren van dynamische kennisverwerving in LLM's via reinforcement learning

R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

May 22, 2025

Auteurs: Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) zijn krachtig maar gevoelig voor hallucinaties vanwege statische kennis. Retrieval-Augmented Generation (RAG) helpt door externe informatie toe te voegen, maar huidige methoden zijn vaak kostbaar, generaliseren slecht of negeren de interne kennis van het model. In dit artikel introduceren we R1-Searcher++, een nieuw framework ontworpen om LLMs te trainen om zowel interne als externe kennisbronnen adaptief te benutten. R1-Searcher++ maakt gebruik van een tweefasige trainingsstrategie: een initiële SFT Cold-start fase voor het leren van een voorlopig formaat, gevolgd door RL voor Dynamische Kennisverwerving. De RL-fase gebruikt uitkomstsupervisie om exploratie aan te moedigen, integreert een beloningsmechanisme voor het gebruik van interne kennis en bevat een memorisatiemechanisme om continu opgehaalde informatie te assimileren, waardoor de interne kennis van het model wordt verrijkt. Door gebruik te maken van interne kennis en een externe zoekmachine, verbetert het model continu zijn capaciteiten, wat efficiënte retrieval-augmented reasoning mogelijk maakt. Onze experimenten tonen aan dat R1-Searcher++ eerdere RAG- en redeneermethoden overtreft en efficiënte retrieval bereikt. De code is beschikbaar op https://github.com/RUCAIBox/R1-Searcher-plus.

English

Large Language Models (LLMs) are powerful but prone to hallucinations due to static knowledge. Retrieval-Augmented Generation (RAG) helps by injecting external information, but current methods often are costly, generalize poorly, or ignore the internal knowledge of the model. In this paper, we introduce R1-Searcher++, a novel framework designed to train LLMs to adaptively leverage both internal and external knowledge sources. R1-Searcher++ employs a two-stage training strategy: an initial SFT Cold-start phase for preliminary format learning, followed by RL for Dynamic Knowledge Acquisition. The RL stage uses outcome-supervision to encourage exploration, incorporates a reward mechanism for internal knowledge utilization, and integrates a memorization mechanism to continuously assimilate retrieved information, thereby enriching the model's internal knowledge. By leveraging internal knowledge and external search engine, the model continuously improves its capabilities, enabling efficient retrieval-augmented reasoning. Our experiments demonstrate that R1-Searcher++ outperforms previous RAG and reasoning methods and achieves efficient retrieval. The code is available at https://github.com/RUCAIBox/R1-Searcher-plus.