Versterkte Interne-Externe Kennis Synergetisch Redeneren voor Efficiënte Adaptieve Zoekagenten

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

Auteurs: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

Samenvatting

Retrieval-augmented generation (RAG) is een veelgebruikte strategie om hallucinaties in Large Language Models (LLMs) te verminderen. Hoewel reinforcement learning (RL) LLMs kan inzetten als zoekagents door hun retrieval-mogelijkheden te activeren, maken bestaande modellen vaak onvoldoende gebruik van hun interne kennis. Dit kan leiden tot overbodige retrievals, potentieel schadelijke kennisconflicten en verhoogde inferentielatentie. Om deze beperkingen aan te pakken, is er dringend behoefte aan een efficiënt en adaptief zoekagent dat optimale retrieval-timing kan bepalen en parametrische (interne) en opgehaalde (externe) kennis op een synergetische manier kan integreren. Dit artikel introduceert de Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), die zijn eigen kennisgrens kan identificeren en prioriteit geeft aan het gebruik van interne kennis, waarbij alleen wordt teruggegrepen op externe zoekacties wanneer interne kennis als onvoldoende wordt beschouwd. Dit wordt bereikt met behulp van een nieuwe beloningsfunctie die rekening houdt met de kennisgrens en een trainingsdataset die eveneens kennisgrensbewust is. Deze zijn ontworpen voor RL gericht op synergie tussen interne en externe kennis, waarbij het model wordt gestimuleerd om nauwkeurige antwoorden te geven, onnodige retrievals te minimaliseren en gepaste externe zoekacties aan te moedigen wanneer zijn eigen kennis tekortschiet. Evaluaties over meerdere kennisredeneertaken tonen aan dat IKEA baseline-methoden significant overtreft, de retrievalfrequentie aanzienlijk vermindert en robuuste generalisatiecapaciteiten vertoont.

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.