Ragionamento Sinergico Conoscenza Interna-Esterna Rinforzata per un Agente di Ricerca Adattivo Efficiente

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

Autori: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

Abstract

La generazione potenziata dal recupero (RAG) è una strategia comune per ridurre le allucinazioni nei Modelli Linguistici di Grande Dimensione (LLM). Sebbene l'apprendimento per rinforzo (RL) possa consentire ai LLM di agire come agenti di ricerca attivando le capacità di recupero, quelli esistenti spesso sottoutilizzano la loro conoscenza interna. Ciò può portare a recuperi ridondanti, potenziali conflitti dannosi di conoscenza e un aumento della latenza di inferenza. Per affrontare queste limitazioni, è urgente la necessità di un agente di ricerca efficiente e adattivo in grado di discernere il momento ottimale per il recupero e di integrare sinergicamente la conoscenza parametrica (interna) e quella recuperata (esterna). Questo articolo introduce l'agente di ragionamento sinergico con conoscenza interna-esterna rinforzata (IKEA), che potrebbe identificare il proprio confine di conoscenza e dare priorità all'utilizzo della conoscenza interna, ricorrendo alla ricerca esterna solo quando la conoscenza interna è ritenuta insufficiente. Ciò è ottenuto utilizzando una nuova funzione di ricompensa consapevole del confine di conoscenza e un dataset di addestramento consapevole del confine di conoscenza. Questi sono progettati per un RL orientato alla sinergia tra conoscenza interna ed esterna, incentivando il modello a fornire risposte accurate, minimizzare i recuperi non necessari e incoraggiare ricerche esterne appropriate quando la propria conoscenza è carente. Le valutazioni su più compiti di ragionamento basati sulla conoscenza dimostrano che IKEA supera significativamente i metodi di base, riduce notevolmente la frequenza di recupero e mostra robuste capacità di generalizzazione.

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.