R1-Searcher++: Incentivizzare l'Acquisizione Dinamica di Conoscenza nei Modelli Linguistici di Grande Dimensione tramite Apprendimento per Rinforzo

R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

May 22, 2025

Autori: Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

cs.AI

Abstract

I Large Language Model (LLM) sono potenti ma inclini ad allucinazioni a causa della conoscenza statica. La Generazione Aumentata dal Recupero (RAG) aiuta iniettando informazioni esterne, ma i metodi attuali sono spesso costosi, generalizzano male o ignorano la conoscenza interna del modello. In questo articolo, introduciamo R1-Searcher++, un nuovo framework progettato per addestrare gli LLM a sfruttare in modo adattivo sia le fonti di conoscenza interne che esterne. R1-Searcher++ impiega una strategia di addestramento in due fasi: una fase iniziale di Cold-start SFT per l'apprendimento preliminare del formato, seguita da RL per l'Acquisizione Dinamica della Conoscenza. La fase RL utilizza la supervisione dei risultati per incoraggiare l'esplorazione, incorpora un meccanismo di ricompensa per l'utilizzo della conoscenza interna e integra un meccanismo di memorizzazione per assimilare continuamente le informazioni recuperate, arricchendo così la conoscenza interna del modello. Sfruttando la conoscenza interna e un motore di ricerca esterno, il modello migliora continuamente le sue capacità, consentendo un ragionamento aumentato dal recupero efficiente. I nostri esperimenti dimostrano che R1-Searcher++ supera i precedenti metodi RAG e di ragionamento e raggiunge un recupero efficiente. Il codice è disponibile all'indirizzo https://github.com/RUCAIBox/R1-Searcher-plus.

English

Large Language Models (LLMs) are powerful but prone to hallucinations due to static knowledge. Retrieval-Augmented Generation (RAG) helps by injecting external information, but current methods often are costly, generalize poorly, or ignore the internal knowledge of the model. In this paper, we introduce R1-Searcher++, a novel framework designed to train LLMs to adaptively leverage both internal and external knowledge sources. R1-Searcher++ employs a two-stage training strategy: an initial SFT Cold-start phase for preliminary format learning, followed by RL for Dynamic Knowledge Acquisition. The RL stage uses outcome-supervision to encourage exploration, incorporates a reward mechanism for internal knowledge utilization, and integrates a memorization mechanism to continuously assimilate retrieved information, thereby enriching the model's internal knowledge. By leveraging internal knowledge and external search engine, the model continuously improves its capabilities, enabling efficient retrieval-augmented reasoning. Our experiments demonstrate that R1-Searcher++ outperforms previous RAG and reasoning methods and achieves efficient retrieval. The code is available at https://github.com/RUCAIBox/R1-Searcher-plus.