Meerstapsredenering via Vroege Kennisafstemming

Samenvatting

Retrieval-Augmented Generation (RAG) is naar voren gekomen als een krachtig paradigma waarmee Large Language Models (LLM's) kennisintensieve vragen kunnen aanpakken die domeinspecifieke of actuele informatie vereisen. Om complexe multi-hop vragen te verwerken die uitdagend zijn voor enkelstaps-retrieval, zijn iteratieve RAG-benaderingen voorgesteld die reinforcement learning incorporeren. Echter, bestaande iteratieve RAG-systemen plannen typisch de decompositie van vragen zonder gebruik te maken van informatie over het beschikbare retrieval-corpus, wat leidt tot inefficiënte retrieval en redeneerketens die cascaderen naar suboptimale prestaties. In dit artikel introduceren we Early Knowledge Alignment (EKA), een eenvoudige maar effectieve module die LLM's afstemt met de retrievalset vóór de planning in iteratieve RAG-systemen, gebruikmakend van contextueel relevante opgehaalde kennis. Uitgebreide experimenten op zes standaard RAG-datasets tonen aan dat EKA, door een stevigere redeneerbasis te leggen, de retrievalnauwkeurigheid significant verbetert, cascade-fouten reduceert en zowel de prestaties als efficiëntie verhoogt. Onze analyse vanuit een entropieperspectief toont aan dat het incorporeren van vroege kennis onnodige exploratie tijdens het redeneerproces vermindert, waardoor het model effectiever op relevante informatie-subset kan focussen. Bovendien blijkt EKA effectief als een veelzijdige, trainingsvrije inferentiestrategie die naadloos schaalt naar grote modellen. Generalisatietesten over diverse datasets en retrieval-corpora bevestigen de robuustheid van onze aanpak. Al metelkaar bevordert EKA de state-of-the-art in iteratieve RAG-systemen en werpt het licht op het kritieke samenspel tussen gestructureerd redeneren en efficiënte exploratie in reinforcement learning-versterkte frameworks. De code is vrijgegeven op https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

English

Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

Meerstapsredenering via Vroege Kennisafstemming

Multi-hop Reasoning via Early Knowledge Alignment

Samenvatting

Support