Усиленное синергетическое рассуждение на основе внутренних и внешних знаний для эффективного адаптивного поискового агента

Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

May 12, 2025

Авторы: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu

cs.AI

Аннотация

Генерация с использованием поиска (RAG) — это распространенная стратегия для снижения галлюцинаций в больших языковых моделях (LLM). Хотя обучение с подкреплением (RL) может позволить LLM действовать как поисковые агенты, активируя возможности поиска, существующие модели часто недостаточно используют свои внутренние знания. Это может приводить к избыточным поискам, потенциальным конфликтам знаний и увеличению задержек при выводе. Для устранения этих ограничений срочно необходим эффективный и адаптивный поисковый агент, способный определять оптимальное время для поиска и синергетически интегрировать параметрические (внутренние) и полученные (внешние) знания. В данной статье представлен агент синергетического рассуждения с использованием внутренних и внешних знаний (IKEA), который может определять границы своих знаний и отдавать приоритет использованию внутренних знаний, прибегая к внешнему поиску только в случае недостаточности внутренних знаний. Это достигается с помощью новой функции вознаграждения, учитывающей границы знаний, и обучающего набора данных, также учитывающего эти границы. Они разработаны для RL, ориентированного на синергию внутренних и внешних знаний, что стимулирует модель давать точные ответы, минимизировать ненужные поиски и поощрять соответствующие внешние запросы при недостатке собственных знаний. Оценки на множестве задач, связанных с рассуждениями на основе знаний, демонстрируют, что IKEA значительно превосходит базовые методы, существенно снижает частоту поисков и демонстрирует устойчивые обобщающие способности.

English

Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.