Улучшение многошагового RAG с использованием гиперграфовой памяти для сложного реляционного моделирования в длинных контекстах

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

December 30, 2025

Авторы: Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

cs.AI

Аннотация

Многошаговая генерация с расширением выборки (RAG) стала широко применяемой стратегией для улучшения работы больших языковых моделей (LLM) при решении задач, требующих глобального понимания и интенсивных рассуждений. Многие системы RAG включают модуль рабочей памяти для консолидации извлеченной информации. Однако существующие архитектуры памяти функционируют преимущественно как пассивное хранилище, которое накапливает изолированные факты с целью сжатия объемных входных данных и генерации новых подзапросов путем дедукции. Этот статичный характер игнорирует важные корреляции высокого порядка между первичными фактами, комбинации которых часто могут предоставить более сильные ориентиры для последующих шагов. Следовательно, их репрезентативная сила и влияние на многошаговые рассуждения и эволюцию знаний ограничены, что приводит к фрагментированным умозаключениям и слабой способности к глобальному осмыслению в расширенных контекстах. Мы представляем HGMem — механизм памяти на основе гиперграфов, который расширяет концепцию памяти за пределы простого хранилища до динамичной, выразительной структуры для сложных рассуждений и глобального понимания. В нашем подходе память представлена в виде гиперграфа, гиперребра которого соответствуют отдельным единицам памяти, что позволяет прогрессивно формировать взаимодействия высшего порядка внутри памяти. Этот механизм связывает факты и мысли вокруг ключевой проблемы, эволюционируя в интегрированную и ситуативную структуру знаний, которая предоставляет веские предпосылки для более глубоких рассуждений на последующих шагах. Мы оцениваем HGMem на нескольких сложных наборах данных, предназначенных для глобального осмысления. Многочисленные эксперименты и углубленный анализ показывают, что наш метод последовательно улучшает многошаговую RAG и существенно превосходит сильные базовые системы в разнообразных задачах.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.