R1-Searcher++ : Incitation à l'acquisition dynamique de connaissances des LLM via l'apprentissage par renforcement

R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

May 22, 2025

Auteurs: Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) sont puissants mais sujets aux hallucinations en raison de leur connaissance statique. La Génération Augmentée par Récupération (RAG) aide en injectant des informations externes, mais les méthodes actuelles sont souvent coûteuses, généralisent mal ou ignorent la connaissance interne du modèle. Dans cet article, nous présentons R1-Searcher++, un nouveau cadre conçu pour entraîner les LLMs à exploiter de manière adaptative à la fois les sources de connaissances internes et externes. R1-Searcher++ utilise une stratégie d'entraînement en deux étapes : une phase initiale de SFT Cold-start pour l'apprentissage préliminaire du format, suivie d'un apprentissage par renforcement (RL) pour l'acquisition dynamique de connaissances. L'étape RL utilise une supervision par résultats pour encourager l'exploration, intègre un mécanisme de récompense pour l'utilisation des connaissances internes, et inclut un mécanisme de mémorisation pour assimiler continuellement les informations récupérées, enrichissant ainsi la connaissance interne du modèle. En exploitant à la fois la connaissance interne et un moteur de recherche externe, le modèle améliore continuellement ses capacités, permettant un raisonnement efficace augmenté par la récupération. Nos expériences démontrent que R1-Searcher++ surpasse les méthodes précédentes de RAG et de raisonnement, et réalise une récupération efficace. Le code est disponible à l'adresse suivante : https://github.com/RUCAIBox/R1-Searcher-plus.

English

Large Language Models (LLMs) are powerful but prone to hallucinations due to static knowledge. Retrieval-Augmented Generation (RAG) helps by injecting external information, but current methods often are costly, generalize poorly, or ignore the internal knowledge of the model. In this paper, we introduce R1-Searcher++, a novel framework designed to train LLMs to adaptively leverage both internal and external knowledge sources. R1-Searcher++ employs a two-stage training strategy: an initial SFT Cold-start phase for preliminary format learning, followed by RL for Dynamic Knowledge Acquisition. The RL stage uses outcome-supervision to encourage exploration, incorporates a reward mechanism for internal knowledge utilization, and integrates a memorization mechanism to continuously assimilate retrieved information, thereby enriching the model's internal knowledge. By leveraging internal knowledge and external search engine, the model continuously improves its capabilities, enabling efficient retrieval-augmented reasoning. Our experiments demonstrate that R1-Searcher++ outperforms previous RAG and reasoning methods and achieves efficient retrieval. The code is available at https://github.com/RUCAIBox/R1-Searcher-plus.