Mejora de RAG Multietapa con Memoria Basada en Hipergrafos para el Modelado Relacional Complejo de Contexto Largo

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

Autores: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

Resumen

La generación aumentada por recuperación multi-etapa (RAG) se ha convertido en una estrategia ampliamente adoptada para mejorar los modelos de lenguaje grande (LLM) en tareas que exigen comprensión global y razonamiento intensivo. Muchos sistemas RAG incorporan un módulo de memoria de trabajo para consolidar la información recuperada. Sin embargo, los diseños de memoria existentes funcionan principalmente como almacenamiento pasivo que acumula hechos aislados con el propósito de condensar las entradas extensas y generar nuevas sub-consultas mediante deducción. Esta naturaleza estática pasa por alto las cruciales correlaciones de alto orden entre los hechos primitivos, cuyas composiciones a menudo pueden proporcionar una guía más sólida para los pasos subsiguientes. Por lo tanto, su fuerza representacional y su impacto en el razonamiento multi-etapa y la evolución del conocimiento son limitados, lo que resulta en un razonamiento fragmentado y una débil capacidad de construcción de sentido global en contextos extensos. Presentamos HGMem, un mecanismo de memoria basado en hipergrafos que extiende el concepto de memoria más allá del simple almacenamiento hacia una estructura dinámica y expresiva para el razonamiento complejo y la comprensión global. En nuestro enfoque, la memoria se representa como un hipergrafo cuyas hiperaristas corresponden a unidades de memoria distintas, permitiendo la formación progresiva de interacciones de orden superior dentro de la memoria. Este mecanismo conecta hechos y pensamientos en torno al problema central, evolucionando hacia una estructura de conocimiento integrada y situada que proporciona proposiciones sólidas para un razonamiento más profundo en pasos posteriores. Evaluamos HGMem en varios conjuntos de datos desafiantes diseñados para la construcción de sentido global. Experimentos exhaustivos y análisis en profundidad demuestran que nuestro método mejora consistentemente el RAG multi-etapa y supera sustancialmente a sistemas de referencia sólidos en diversas tareas.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.