Aprimorando RAG Multi-etapa com Memória Baseada em Hipergrafos para Modelagem Relacional Complexa de Longo Contexto

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

Autores: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

Resumo

A geração aumentada por recuperação multi-etapa (RAG) tornou-se uma estratégia amplamente adotada para aprimorar grandes modelos de linguagem (LLMs) em tarefas que exigem compreensão global e raciocínio intensivo. Muitos sistemas RAG incorporam um módulo de memória de trabalho para consolidar informações recuperadas. No entanto, os projetos de memória existentes funcionam principalmente como armazenamento passivo que acumula fatos isolados com o objetivo de condensar entradas extensas e gerar novas subconsultas por meio de dedução. Esta natureza estática negligencia as cruciais correlações de alta ordem entre fatos primitivos, cujas composições frequentemente podem fornecer orientação mais forte para etapas subsequentes. Portanto, sua força representacional e impacto no raciocínio multi-etapa e na evolução do conhecimento são limitados, resultando em raciocínio fragmentado e fraca capacidade de construção de sentido global em contextos extensos. Apresentamos o HGMem, um mecanismo de memória baseado em hipergrafos que estende o conceito de memória além do simples armazenamento para uma estrutura dinâmica e expressiva para raciocínio complexo e compreensão global. Em nossa abordagem, a memória é representada como um hipergrafo cujas hiperarestas correspondem a unidades de memória distintas, permitindo a formação progressiva de interações de ordem superior dentro da memória. Este mecanismo conecta fatos e pensamentos em torno do problema focal, evoluindo para uma estrutura de conhecimento integrada e situada que fornece proposições sólidas para raciocínios mais profundos em etapas subsequentes. Avaliamos o HGMem em vários conjuntos de dados desafiadores projetados para construção de sentido global. Experimentos extensos e análises aprofundadas mostram que nosso método melhora consistentemente o RAG multi-etapa e supera substancialmente sistemas de linha de base robustos em diversas tarefas.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.