R1-Searcher++: Anreiz zur dynamischen Wissensakquisition von LLMs durch Reinforcement Learning

R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

May 22, 2025

Autoren: Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind leistungsstark, neigen jedoch aufgrund statischen Wissens zu Halluzinationen. Retrieval-Augmented Generation (RAG) hilft dabei, indem externe Informationen eingespielt werden, doch aktuelle Methoden sind oft kostspielig, generalisieren schlecht oder ignorieren das interne Wissen des Modells. In diesem Artikel stellen wir R1-Searcher++ vor, ein neuartiges Framework, das darauf abzielt, LLMs so zu trainieren, dass sie sowohl interne als auch externe Wissensquellen adaptiv nutzen. R1-Searcher++ verwendet eine zweistufige Trainingsstrategie: eine anfängliche SFT Cold-start-Phase für das vorläufige Erlernen von Formaten, gefolgt von RL für die dynamische Wissensakquisition. Die RL-Phase nutzt Ergebnisüberwachung, um Exploration zu fördern, integriert einen Belohnungsmechanismus für die Nutzung internen Wissens und fügt einen Memorierungsmechanismus ein, um kontinuierlich abgerufene Informationen zu assimilieren und dadurch das interne Wissen des Modells zu bereichern. Durch die Nutzung internen Wissens und externer Suchmaschinen verbessert das Modell kontinuierlich seine Fähigkeiten und ermöglicht effizientes retrieval-augmentiertes Schließen. Unsere Experimente zeigen, dass R1-Searcher++ bisherige RAG- und Schließmethoden übertrifft und effizientes Retrieval erreicht. Der Code ist verfügbar unter https://github.com/RUCAIBox/R1-Searcher-plus.

English

Large Language Models (LLMs) are powerful but prone to hallucinations due to static knowledge. Retrieval-Augmented Generation (RAG) helps by injecting external information, but current methods often are costly, generalize poorly, or ignore the internal knowledge of the model. In this paper, we introduce R1-Searcher++, a novel framework designed to train LLMs to adaptively leverage both internal and external knowledge sources. R1-Searcher++ employs a two-stage training strategy: an initial SFT Cold-start phase for preliminary format learning, followed by RL for Dynamic Knowledge Acquisition. The RL stage uses outcome-supervision to encourage exploration, incorporates a reward mechanism for internal knowledge utilization, and integrates a memorization mechanism to continuously assimilate retrieved information, thereby enriching the model's internal knowledge. By leveraging internal knowledge and external search engine, the model continuously improves its capabilities, enabling efficient retrieval-augmented reasoning. Our experiments demonstrate that R1-Searcher++ outperforms previous RAG and reasoning methods and achieves efficient retrieval. The code is available at https://github.com/RUCAIBox/R1-Searcher-plus.