Многошаговые рассуждения через раннее выравнивание знаний

Аннотация

Метод генерации с расширением выборки (RAG) стал мощной парадигмой для больших языковых моделей (LLM), позволяющей решать сложные запросы, требующие предметно-ориентированной или актуальной информации. Для обработки сложных многошаговых вопросов, которые трудно решить с помощью одношаговой выборки, были предложены итеративные подходы RAG, включающие обучение с подкреплением. Однако существующие итеративные RAG-системы обычно планируют декомпозицию вопросов без учета информации о доступном корпусе для выборки, что приводит к неэффективной выборке и цепочкам рассуждений, каскадно ухудшающим производительность. В данной статье мы представляем раннее согласование знаний (EKA) — простой, но эффективный модуль, который согласует LLM с набором для выборки до этапа планирования в итеративных RAG-системах, используя контекстно-релевантные извлеченные знания. Обширные эксперименты на шести стандартных наборах данных RAG демонстрируют, что за счет создания более прочной основы для рассуждений EKA значительно повышает точность выборки, сокращает каскадные ошибки и улучшает как производительность, так и эффективность. Наш анализ с энтропийной точки зрения показывает, что включение ранних знаний снижает избыточное исследование в процессе рассуждений, позволяя модели эффективнее фокусироваться на релевантных подмножествах информации. Более того, EKA доказал свою эффективность в качестве универсальной стратегии вывода, не требующей дообучения и легко масштабируемой на большие модели. Тесты на обобщение для различных наборов данных и корпусов выборки подтверждают надежность нашего подхода. В целом, EKA продвигает состояние дел в итеративных RAG-системах, одновременно проясняя критическое взаимодействие между структурированными рассуждениями и эффективным исследованием в рамках, усиленных обучением с подкреплением. Код доступен по адресу https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

English

Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

Многошаговые рассуждения через раннее выравнивание знаний

Multi-hop Reasoning via Early Knowledge Alignment

Аннотация

Support