効率的な適応型探索エージェントのための強化された内部-外部知識協調推論

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

著者: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

要旨

検索拡張生成（RAG）は、大規模言語モデル（LLM）における幻覚を減らすための一般的な戦略です。強化学習（RL）を用いることで、LLMに検索機能を活性化させ、検索エージェントとして動作させることが可能ですが、既存の手法では内部知識を十分に活用していないことが多いです。これにより、冗長な検索、潜在的な有害な知識の衝突、および推論遅延の増加が生じる可能性があります。これらの制限に対処するため、最適な検索タイミングを見極め、パラメトリック（内部）知識と検索された（外部）知識を相乗的に統合できる効率的で適応的な検索エージェントが緊急に必要とされています。本論文では、内部-外部知識相乗推論エージェント（IKEA）を紹介します。IKEAは自身の知識境界を識別し、内部知識の利用を優先し、内部知識が不十分と判断された場合にのみ外部検索に頼ることができます。これは、新しい知識境界を意識した報酬関数と、知識境界を意識したトレーニングデータセットを使用して実現されます。これらは、内部-外部知識の相乗を指向したRLのために設計されており、モデルに正確な回答を提供させ、不要な検索を最小限に抑え、自身の知識が不足している場合に適切な外部検索を促します。複数の知識推論タスクにわたる評価により、IKEAがベースライン手法を大幅に上回り、検索頻度を大幅に削減し、堅牢な汎化能力を示すことが実証されています。

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.