マルチホップ推論による早期知識アラインメント

要旨

Retrieval-Augmented Generation（RAG）は、ドメイン固有または最新の情報を必要とする知識集約的なクエリに対処するための大規模言語モデル（LLM）の強力なパラダイムとして登場した。単一ステップの検索では困難な複雑なマルチホップ質問を処理するため、強化学習を組み込んだ反復的RAGアプローチが提案されている。しかし、既存の反復的RAGシステムは、通常、利用可能な検索コーパスに関する情報を活用せずに質問の分解を計画するため、非効率な検索と、最適ではない性能に連鎖する推論チェーンを引き起こす。本論文では、反復的RAGシステムにおいて、計画立案前にLLMを検索セットと文脈的に関連する検索済み知識で整合させる、シンプルかつ効果的なモジュールであるEarly Knowledge Alignment（EKA）を提案する。6つの標準的なRAGデータセットを用いた大規模な実験により、より強固な推論基盤を構築することで、EKAが検索精度を大幅に向上させ、連鎖誤差を減少させ、性能と効率の両方を向上させることを実証する。エントロピーの観点からの分析は、早期の知識の組み込みが推論過程における不必要な探索を減らし、モデルが関連する情報サブセットにより効果的に集中できることを示している。さらに、EKAは、大規模モデルにシームレスにスケールする、汎用的で訓練不要な推論戦略として有効であることが証明された。様々なデータセットと検索コーパスにわたる一般化テストは、本アプローチの堅牢性を確認している。全体として、EKAは反復的RAGシステムの最先端を進歩させると同時に、強化学習補強フレームワークにおける構造化推論と効率的探索の間の重要な相互作用を明らかにする。コードはhttps://github.com/yxzwang/EarlyKnowledgeAlignment{Github}で公開されている。

English

Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

マルチホップ推論による早期知識アラインメント

Multi-hop Reasoning via Early Knowledge Alignment

要旨

Support