Miglioramento del RAG multi-step con memoria basata su ipergrafi per la modellazione relazionale complessa in contesti estesi

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

Autori: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

Abstract

La generazione aumentata dal recupero multi-step (RAG) è diventata una strategia ampiamente adottata per potenziare i grandi modelli linguistici (LLM) in compiti che richiedono una comprensione globale e un ragionamento intensivo. Molti sistemi RAG incorporano un modulo di memoria di lavoro per consolidare le informazioni recuperate. Tuttavia, le progettazioni di memoria esistenti funzionano principalmente come archivi passivi che accumulano fatti isolati con lo scopo di condensare input lunghi e generare nuove sotto-interrogazioni tramite deduzione. Questa natura statica trascura le cruciali correlazioni di ordine superiore tra i fatti primitivi, le cui composizioni possono spesso fornire una guida più forte per i passi successivi. Di conseguenza, la loro forza rappresentativa e l'impatto sul ragionamento multi-step e sull'evoluzione della conoscenza sono limitati, risultando in un ragionamento frammentato e una debole capacità di costruzione di senso globale in contesti estesi. Introduciamo HGMem, un meccanismo di memoria basato su ipergrafi che estende il concetto di memoria oltre il semplice archivio verso una struttura dinamica ed espressiva per il ragionamento complesso e la comprensione globale. Nel nostro approccio, la memoria è rappresentata come un ipergrafo i cui iperarchi corrispondono a distinte unità di memoria, permettendo la formazione progressiva di interazioni di ordine superiore all'interno della memoria. Questo meccanismo collega fatti e pensieri attorno al problema focale, evolvendosi in una struttura di conoscenza integrata e situata che fornisce proposizioni solide per un ragionamento più profondo nei passi successivi. Valutiamo HGMem su diversi dataset complessi progettati per la costruzione di senso globale. Esperimenti estesi e analisi approfondite mostrano che il nostro metodo migliora costantemente il RAG multi-step e supera sostanzialmente forti sistemi baseline in varie attività.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.