Raisonnement Synergique des Connaissances Internes-Externes Renforcé pour un Agent de Recherche Adaptatif Efficace

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

Auteurs: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

Résumé

La génération augmentée par recherche (RAG) est une stratégie courante pour réduire les hallucinations dans les grands modèles de langage (LLMs). Bien que l'apprentissage par renforcement (RL) puisse permettre aux LLMs d'agir comme agents de recherche en activant des capacités de récupération, les modèles existants sous-utilisent souvent leurs connaissances internes. Cela peut entraîner des récupérations redondantes, des conflits potentiels de connaissances nuisibles et une latence d'inférence accrue. Pour remédier à ces limitations, un agent de recherche efficace et adaptatif, capable de discerner le moment optimal pour la récupération et d'intégrer de manière synergique les connaissances paramétriques (internes) et récupérées (externes), est urgent. Cet article présente l'agent de raisonnement synergique des connaissances internes-externes renforcé (IKEA), qui peut identifier ses propres limites de connaissances et prioriser l'utilisation des connaissances internes, en recourant à la recherche externe uniquement lorsque les connaissances internes sont jugées insuffisantes. Cela est réalisé grâce à une nouvelle fonction de récompense consciente des limites de connaissances et à un ensemble de données d'entraînement conscient des limites de connaissances. Ces éléments sont conçus pour un apprentissage par renforcement orienté vers la synergie des connaissances internes-externes, incitant le modèle à fournir des réponses précises, à minimiser les récupérations inutiles et à encourager les recherches externes appropriées lorsque ses propres connaissances sont insuffisantes. Les évaluations sur plusieurs tâches de raisonnement sur les connaissances démontrent qu'IKEA surpasse significativement les méthodes de référence, réduit considérablement la fréquence de récupération et présente des capacités de généralisation robustes.

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.