Amélioration du RAG multi-étapes avec une mémoire basée sur les hypergraphes pour la modélisation relationnelle complexe en contexte long

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

papers.authors: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

papers.abstract

La génération augmentée par récupération multi-étapes (RAG) est devenue une stratégie largement adoptée pour améliorer les modèles de langage de grande taille sur des tâches exigeant une compréhension globale et un raisonnement approfondi. De nombreux systèmes RAG intègrent un module de mémoire de travail pour consolider les informations récupérées. Cependant, les conceptions mnémoniques existantes fonctionnent principalement comme un stockage passif accumulant des faits isolés dans le but de condenser les entrées longues et de générer de nouvelles sous-requêtes par déduction. Cette nature statique néglige les cruciales corrélations d'ordre supérieur entre les faits primitifs, dont les compositions peuvent souvent fournir un guidage plus fort pour les étapes suivantes. Par conséquent, leur puissance représentationnelle et leur impact sur le raisonnement multi-étapes et l'évolution des connaissances sont limités, entraînant un raisonnement fragmenté et une faible capacité de construction de sens globale dans des contextes étendus. Nous présentons HGMem, un mécanisme de mémoire basé sur les hypergraphes qui étend le concept de mémoire au-delà du simple stockage vers une structure dynamique et expressive pour le raisonnement complexe et la compréhension globale. Dans notre approche, la mémoire est représentée comme un hypergraphe dont les hyperarêtes correspondent à des unités mnémoniques distinctes, permettant la formation progressive d'interactions d'ordre supérieur au sein de la mémoire. Ce mécanisme connecte les faits et les réflexions autour du problème central, évoluant vers une structure de connaissance intégrée et située qui fournit des propositions solides pour un raisonnement plus profond dans les étapes ultérieures. Nous évaluons HGMem sur plusieurs jeux de données complexes conçus pour la construction de sens globale. Des expériences approfondies et des analyses détaillées montrent que notre méthode améliore constamment le RAG multi-étapes et surpasse substantiellement les systèmes de référence solides sur diverses tâches.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.