Razonamiento Sinérgico de Conocimiento Interno-Externo Reforzado para un Agente de Búsqueda Adaptativa Eficiente

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

Autores: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

Resumen

La generación aumentada por recuperación (RAG, por sus siglas en inglés) es una estrategia común para reducir las alucinaciones en los Modelos de Lenguaje de Gran Escala (LLMs). Si bien el aprendizaje por refuerzo (RL) puede permitir que los LLMs actúen como agentes de búsqueda al activar capacidades de recuperación, los existentes a menudo subutilizan su conocimiento interno. Esto puede llevar a recuperaciones redundantes, posibles conflictos de conocimiento perjudiciales y un aumento en la latencia de inferencia. Para abordar estas limitaciones, se necesita urgentemente un agente de búsqueda eficiente y adaptable capaz de discernir el momento óptimo de recuperación e integrar de manera sinérgica el conocimiento paramétrico (interno) y el recuperado (externo). Este artículo presenta el Agente de Razonamiento Sinérgico de Conocimiento Interno-Externo Reforzado (IKEA), que puede identificar su propio límite de conocimiento y priorizar la utilización del conocimiento interno, recurriendo a la búsqueda externa solo cuando el conocimiento interno se considera insuficiente. Esto se logra utilizando una novedosa función de recompensa consciente del límite de conocimiento y un conjunto de datos de entrenamiento consciente del límite de conocimiento. Estos están diseñados para el RL orientado a la sinergia de conocimiento interno-externo, incentivando al modelo a proporcionar respuestas precisas, minimizar recuperaciones innecesarias y fomentar búsquedas externas apropiadas cuando su propio conocimiento es insuficiente. Las evaluaciones en múltiples tareas de razonamiento de conocimiento demuestran que IKEA supera significativamente a los métodos de referencia, reduce considerablemente la frecuencia de recuperación y exhibe capacidades de generalización robustas.

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.