Verbetering van Multi-step RAG met Hypergraph-gebaseerd Geheugen voor Complexe Relationele Modellering met Lange Context

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

Auteurs: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

Samenvatting

Meerstaps retrieval-augmented generation (RAG) is een veelgebruikte strategie geworden om grote taalmodellen (LLM's) te verbeteren bij taken die globaal begrip en intensief redeneren vereisen. Veel RAG-systemen bevatten een werkgeheugenmodule om opgehaalde informatie te consolideren. Bestaande geheugenontwerpen functioneren echter voornamelijk als passieve opslag die geïsoleerde feiten accumuleert met als doel lange invoer te condenseren en nieuwe subvragen af te leiden via deductie. Deze statische aard ziet de cruciale hogere-orde correlaties tussen primitieve feiten over het hoofd, waarvan de composities vaak sterkere richtlijnen voor vervolgstappen kunnen bieden. Hierdoor zijn hun representatiekracht en impact op meerstapsredenering en kennisevolutie beperkt, wat leidt tot gefragmenteerd redeneren en een zwak globaal betekenisgevend vermogen in uitgebreide contexten. Wij introduceren HGMem, een op hypergrafen gebaseerd geheugenmechanisme dat het geheugenconcept uitbreidt van eenvoudige opslag naar een dynamische, expressieve structuur voor complex redeneren en globaal begrip. In onze aanpak wordt geheugen gerepresenteerd als een hypergraaf waarvan de hyperkanten overeenkomen met afzonderlijke geheugeneenheden, waardoor de progressieve vorming van hogere-orde interacties binnen het geheugen mogelijk wordt. Dit mechanisme verbindt feiten en gedachten rond het centrale probleem, en evolueert naar een geïntegreerde en gesitueerde kennisstructuur die sterke proposities biedt voor dieper redeneren in latere stappen. Wij evalueren HGMem op verschillende uitdagende datasets die zijn ontworpen voor globaal betekenisgeven. Uitgebreide experimenten en diepgaande analyses tonen aan dat onze methode meerstaps RAG consistent verbetert en sterk presteert ten opzichte van krachtige baseline-systemen bij uiteenlopende taken.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.