Multi-Hop Reasoning durch frühe Wissensabgleichung

papers.abstract

Retrieval-Augmented Generation (RAG) hat sich als leistungsstarkes Paradigma für Large Language Models (LLMs) etabliert, um wissensintensive Anfragen zu behandeln, die domänenspezifische oder aktuelle Informationen erfordern. Um komplexe Multi-Hop-Fragen zu bewältigen, die für Einzelschritt-Retrieval eine Herausforderung darstellen, wurden iterative RAG-Ansätze mit Reinforcement Learning vorgeschlagen. Bestehende iterative RAG-Systeme planen jedoch typischerweise die Zerlegung von Fragen, ohne Informationen über den verfügbaren Retrieval-Korpus zu nutzen, was zu ineffizientem Retrieval und Reasoning-Ketten führt, die kaskadenartig in suboptimale Leistung münden. In diesem Artikel stellen wir Early Knowledge Alignment (EKA) vor, ein einfaches, aber effektives Modul, das LLMs vor der Planung in iterativen RAG-Systemen mit kontextuell relevantem, abgerufenen Wissen am Retrieval-Set ausrichtet. Umfangreiche Experimente mit sechs standardmäßigen RAG-Datensätzen zeigen, dass EKA durch die Etablierung einer stärkeren Reasoning-Grundlage die Retrieval-Präzision signifikant verbessert, kaskadierende Fehler reduziert sowie Leistung und Effizienz steigert. Unsere Analyse aus einer Entropie-Perspektive zeigt, dass die Einbeziehung von frühem Wissen unnötige Exploration während des Reasoning-Prozesses reduziert und es dem Modell ermöglicht, sich effektiver auf relevante Informationsuntergruppen zu konzentrieren. Darüber hinaus erweist sich EKA als vielseitige, trainingsfreie Inferenzstrategie, die nahtlos auf große Modelle skaliert. Verallgemeinerungstests über verschiedene Datensätze und Retrieval-Korpora hinweg bestätigen die Robustheit unseres Ansatzes. Insgesamt schreitet EKA den State-of-the-art in iterativen RAG-Systemen voran und beleuchtet gleichzeitig das kritische Zusammenspiel zwischen strukturiertem Reasoning und effizienter Exploration in Reinforcement Learning-gestützten Frameworks. Der Code ist unter https://github.com/yxzwang/EarlyKnowledgeAlignment veröffentlicht.

English

Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

Multi-Hop Reasoning durch frühe Wissensabgleichung

Multi-hop Reasoning via Early Knowledge Alignment

papers.abstract

Support