Verbesserung von mehrstufigem RAG mit hypergraph-basiertem Gedächtnis für komplexe relationale Modellierung in langen Kontexten

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

papers.authors: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

papers.abstract

Mehrstufige Retrieval-Augmented Generation (RAG) hat sich zu einer weit verbreiteten Strategie entwickelt, um große Sprachmodelle (LLMs) bei Aufgaben zu verbessern, die ein globales Verständnis und intensives Schlussfolgern erfordern. Viele RAG-Systeme integrieren ein Arbeitsgedächtnismodul, um abgerufene Informationen zu konsolidieren. Bestehende Gedächtnisentwürfe fungieren jedoch hauptsächlich als passiver Speicher, der isolierte Fakten ansammelt, um lange Eingaben zu verdichten und neue Teilabfragen durch Deduktion zu generieren. Diese statische Natur übersieht die entscheidenden höhergradigen Korrelationen zwischen primitiven Fakten, deren Zusammensetzungen oft eine stärkere Leitlinie für nachfolgende Schritte bieten können. Daher sind ihre Repräsentationsstärke und ihr Einfluss auf mehrstufiges Reasoning und Wissensevolution begrenzt, was zu fragmentiertem Schlussfolgern und einer schwachen globalen Sinnstiftungskapazität in erweiterten Kontexten führt. Wir stellen HGMem vor, einen hypergraphbasierten Gedächtnismechanismus, der das Konzept des Gedächtnisses über einfache Speicherung hinaus zu einer dynamischen, ausdrucksstarken Struktur für komplexes Reasoning und globales Verständnis erweitert. In unserem Ansatz wird das Gedächtnis als Hypergraph repräsentiert, dessen Hyperkanten distincten Gedächtniseinheiten entsprechen und die progressive Bildung höherer Interaktionen innerhalb des Gedächtnisses ermöglichen. Dieser Mechanismus verbindet Fakten und Gedanken rund um das Kernproblem und entwickelt sich zu einer integrierten und situierten Wissensstruktur, die starke Propositionen für tiefergehendes Reasoning in nachfolgenden Schritten liefert. Wir evaluieren HGMem anhand mehrerer anspruchsvoller Datensätze, die für globale Sinnstiftung konzipiert wurden. Umfangreiche Experimente und detaillierte Analysen zeigen, dass unsere Methode mehrstufige RAG konsistent verbessert und starke Basissysteme über verschiedene Aufgaben hinweg deutlich übertrifft.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.