Verstärkte interne-externe Wissenssynergie für effiziente adaptive Suchagenten

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

Autoren: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

Zusammenfassung

Retrieval-augmented Generation (RAG) ist eine gängige Strategie, um Halluzinationen in Large Language Models (LLMs) zu reduzieren. Während Reinforcement Learning (RL) LLMs dazu befähigen kann, als Suchagenten zu agieren, indem sie Abruffähigkeiten aktivieren, nutzen bestehende Modelle oft ihr internes Wissen unzureichend. Dies kann zu redundanten Abrufen, potenziell schädlichen Wissenskonflikten und erhöhter Inferenzlatenz führen. Um diese Einschränkungen zu überwinden, besteht ein dringender Bedarf an einem effizienten und adaptiven Suchagenten, der in der Lage ist, den optimalen Zeitpunkt für den Abruf zu bestimmen und parametrisches (internes) sowie abgerufenes (externes) Wissen synergetisch zu integrieren. In diesem Artikel wird der Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA) vorgestellt, der seine eigene Wissensgrenze identifizieren und die Nutzung von internem Wissen priorisieren kann, wobei er nur dann auf externe Suche zurückgreift, wenn internes Wissen als unzureichend erachtet wird. Dies wird durch eine neuartige wissensgrenzenbewusste Belohnungsfunktion und einen wissensgrenzenbewussten Trainingsdatensatz erreicht. Diese sind für RL mit Fokus auf die Synergie von internem und externem Wissen konzipiert und sollen das Modell dazu anregen, präzise Antworten zu liefern, unnötige Abrufe zu minimieren und angemessene externe Suchen zu fördern, wenn das eigene Wissen nicht ausreicht. Evaluierungen über mehrere Wissensschlussfolgerungsaufgaben zeigen, dass IKEA Baseline-Methoden deutlich übertrifft, die Abruffrequenz erheblich reduziert und robuste Generalisierungsfähigkeiten aufweist.

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.