R1-Searcher++: 강화 학습을 통한 LLM의 동적 지식 획득 유도

R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

May 22, 2025

저자: Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

cs.AI

초록

대규모 언어 모델(LLMs)은 강력하지만 정적 지식으로 인해 환각 현상에 취약합니다. 검색 증강 생성(RAG)은 외부 정보를 주입하여 이를 보완하지만, 현재의 방법들은 비용이 많이 들거나 일반화가 잘 되지 않으며, 모델의 내부 지식을 무시하는 경우가 많습니다. 본 논문에서는 LLM이 내부 및 외부 지식 소스를 적응적으로 활용하도록 훈련시키는 새로운 프레임워크인 R1-Searcher++를 소개합니다. R1-Searcher++는 두 단계의 훈련 전략을 사용합니다: 초기 SFT 콜드 스타트 단계에서 기본적인 형식 학습을 수행한 후, 동적 지식 획득을 위한 강화 학습(RL) 단계를 진행합니다. RL 단계에서는 결과 감독을 통해 탐색을 촉진하고, 내부 지식 활용을 위한 보상 메커니즘을 통합하며, 검색된 정보를 지속적으로 흡수하여 모델의 내부 지식을 풍부하게 하는 기억 메커니즘을 도입합니다. 내부 지식과 외부 검색 엔진을 활용함으로써, 모델은 지속적으로 능력을 향상시키고 효율적인 검색 증강 추론을 가능하게 합니다. 실험 결과, R1-Searcher++는 기존의 RAG 및 추론 방법들을 능가하며 효율적인 검색을 달성함을 보여줍니다. 코드는 https://github.com/RUCAIBox/R1-Searcher-plus에서 확인할 수 있습니다.

English

Large Language Models (LLMs) are powerful but prone to hallucinations due to static knowledge. Retrieval-Augmented Generation (RAG) helps by injecting external information, but current methods often are costly, generalize poorly, or ignore the internal knowledge of the model. In this paper, we introduce R1-Searcher++, a novel framework designed to train LLMs to adaptively leverage both internal and external knowledge sources. R1-Searcher++ employs a two-stage training strategy: an initial SFT Cold-start phase for preliminary format learning, followed by RL for Dynamic Knowledge Acquisition. The RL stage uses outcome-supervision to encourage exploration, incorporates a reward mechanism for internal knowledge utilization, and integrates a memorization mechanism to continuously assimilate retrieved information, thereby enriching the model's internal knowledge. By leveraging internal knowledge and external search engine, the model continuously improves its capabilities, enabling efficient retrieval-augmented reasoning. Our experiments demonstrate that R1-Searcher++ outperforms previous RAG and reasoning methods and achieves efficient retrieval. The code is available at https://github.com/RUCAIBox/R1-Searcher-plus.