R1-Searcher++: Incentivizando la Adquisición Dinámica de Conocimiento en LLMs mediante Aprendizaje por Refuerzo

R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

May 22, 2025

Autores: Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) son potentes pero propensos a alucinaciones debido a su conocimiento estático. La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) ayuda al inyectar información externa, pero los métodos actuales suelen ser costosos, generalizan de manera deficiente o ignoran el conocimiento interno del modelo. En este artículo, presentamos R1-Searcher++, un marco novedoso diseñado para entrenar LLMs con el fin de aprovechar de manera adaptativa tanto fuentes de conocimiento internas como externas. R1-Searcher++ emplea una estrategia de entrenamiento en dos etapas: una fase inicial de Arranque en Frío mediante Ajuste Superficial (SFT) para el aprendizaje preliminar de formatos, seguida de un Aprendizaje por Refuerzo (RL) para la Adquisición Dinámica de Conocimiento. La etapa de RL utiliza supervisión basada en resultados para fomentar la exploración, incorpora un mecanismo de recompensa para la utilización del conocimiento interno e integra un mecanismo de memorización para asimilar continuamente la información recuperada, enriqueciendo así el conocimiento interno del modelo. Al aprovechar el conocimiento interno y un motor de búsqueda externo, el modelo mejora continuamente sus capacidades, permitiendo un razonamiento aumentado por recuperación eficiente. Nuestros experimentos demuestran que R1-Searcher++ supera a los métodos anteriores de RAG y razonamiento, logrando una recuperación eficiente. El código está disponible en https://github.com/RUCAIBox/R1-Searcher-plus.

English

Large Language Models (LLMs) are powerful but prone to hallucinations due to static knowledge. Retrieval-Augmented Generation (RAG) helps by injecting external information, but current methods often are costly, generalize poorly, or ignore the internal knowledge of the model. In this paper, we introduce R1-Searcher++, a novel framework designed to train LLMs to adaptively leverage both internal and external knowledge sources. R1-Searcher++ employs a two-stage training strategy: an initial SFT Cold-start phase for preliminary format learning, followed by RL for Dynamic Knowledge Acquisition. The RL stage uses outcome-supervision to encourage exploration, incorporates a reward mechanism for internal knowledge utilization, and integrates a memorization mechanism to continuously assimilate retrieved information, thereby enriching the model's internal knowledge. By leveraging internal knowledge and external search engine, the model continuously improves its capabilities, enabling efficient retrieval-augmented reasoning. Our experiments demonstrate that R1-Searcher++ outperforms previous RAG and reasoning methods and achieves efficient retrieval. The code is available at https://github.com/RUCAIBox/R1-Searcher-plus.