Razonamiento de Múltiples Saltos mediante Alineación Temprana de Conocimiento
Multi-hop Reasoning via Early Knowledge Alignment
December 23, 2025
Autores: Yuxin Wang, Shicheng Fang, Bo Wang, Qi Luo, Xuanjing Huang, Yining Zheng, Xipeng Qiu
cs.AI
Resumen
La Generación Aumentada por Recuperación (RAG) ha surgido como un paradigma poderoso para que los Modelos de Lenguaje a Gran Escala (LLMs) aborden consultas intensivas en conocimiento que requieren información específica de dominio o actualizada. Para manejar preguntas complejas de múltiples saltos que son difíciles de recuperar en un solo paso, se han propuesto enfoques RAG iterativos que incorporan aprendizaje por refuerzo. Sin embargo, los sistemas RAG iterativos existentes típicamente planifican la descomposición de preguntas sin aprovechar información sobre el corpus de recuperación disponible, lo que conduce a cadenas de recuperación y razonamiento ineficientes que se propagan en cascada hacia un rendimiento subóptimo. En este artículo, presentamos Early Knowledge Alignment (EKA), un módulo simple pero efectivo que alinea los LLMs con el conjunto de recuperación antes de la planificación en sistemas RAG iterativos, utilizando conocimiento recuperado contextualmente relevante. Experimentos exhaustivos en seis conjuntos de datos RAG estándar demuestran que, al establecer una base de razonamiento más sólida, EKA mejora significativamente la precisión de la recuperación, reduce los errores en cascada y mejora tanto el rendimiento como la eficiencia. Nuestro análisis desde una perspectiva de entropía demuestra que la incorporación temprana de conocimiento reduce la exploración innecesaria durante el proceso de razonamiento, permitiendo que el modelo se centre de manera más efectiva en subconjuntos de información relevantes. Además, EKA demuestra ser efectivo como una estrategia de inferencia versátil y libre de entrenamiento que escala sin problemas a modelos grandes. Las pruebas de generalización en diversos conjuntos de datos y corpus de recuperación confirman la robustez de nuestro enfoque. En general, EKA avanza el estado del arte en sistemas RAG iterativos mientras ilumina la interacción crítica entre el razonamiento estructurado y la exploración eficiente en marcos aumentados con aprendizaje por refuerzo. El código se ha publicado en https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.
English
Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.