Ragionamento a più passi tramite allineamento precoce della conoscenza
Multi-hop Reasoning via Early Knowledge Alignment
December 23, 2025
Autori: Yuxin Wang, Shicheng Fang, Bo Wang, Qi Luo, Xuanjing Huang, Yining Zheng, Xipeng Qiu
cs.AI
Abstract
Il Retrieval-Augmented Generation (RAG) è emerso come un paradigma potente per i Large Language Model (LLM) per affrontare query ad alta intensità di conoscenza che richiedono informazioni di dominio specifico o aggiornate. Per gestire complesse domande multi-hop, che sono difficili da risolvere con un recupero in un singolo passo, sono stati proposti approcci RAG iterativi che incorporano il reinforcement learning. Tuttavia, i sistemi RAG iterativi esistenti tipicamente pianificano la scomposizione delle domande senza sfruttare le informazioni relative al corpus di recupero disponibile, portando a catene di recupero e ragionamento inefficienti che si traducono in prestazioni subottimali. In questo articolo, introduciamo l'Early Knowledge Alignment (EKA), un modulo semplice ma efficace che allinea gli LLM con l'insieme di recupero prima della pianificazione nei sistemi RAG iterativi, utilizzando conoscenze rilevanti recuperate contestualmente. Esperimenti estesi su sei dataset RAG standard dimostrano che, stabilendo una base di ragionamento più solida, l'EKA migliora significativamente la precisione del recupero, riduce gli errori a cascata e potenzia sia le prestazioni che l'efficienza. La nostra analisi da una prospettiva entropica dimostra che l'incorporazione precoce della conoscenza riduce l'esplorazione non necessaria durante il processo di ragionamento, permettendo al modello di concentrarsi più efficacemente sui sottoinsiemi di informazioni rilevanti. Inoltre, l'EKA si rivela efficace come strategia di inferenza versatile e senza necessità di addestramento, che scala senza soluzione di continuità su modelli di grandi dimensioni. Test di generalizzazione su diversi dataset e corpora di recupero confermano la robustezza del nostro approccio. Nel complesso, l'EKA fa avanzare lo stato dell'arte nei sistemi RAG iterativi, illuminando al contempo l'interazione critica tra il ragionamento strutturato e l'esplorazione efficiente nei framework potenziati dal reinforcement learning. Il codice è rilasciato all'indirizzo https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.
English
Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.