長文脈における複雑な関係性モデリングのためのハイパーグラフベースメモリを用いた多段階RAGの改善

要旨

マルチステップ検索拡張生成（RAG）は、グローバルな理解と集中的な推論を要求するタスクにおいて大規模言語モデル（LLM）を強化するために広く採用されている戦略である。多くのRAGシステムは、検索された情報を統合する作業記憶モジュールを組み込んでいる。しかし、既存の記憶設計は主に、長い入力を要約し、演繹を通じて新しいサブクエリを生成する目的で、孤立した事実を蓄積する受動的な記憶として機能する。この静的な性質は、原始的な事実間の重要な高次相関を見落としており、それらの組み合わせはしばしば後続のステップに対する強力な指針を提供しうる。したがって、その表現力およびマルチステップ推論と知識進化への影響は限定的であり、拡張された文脈において断片化された推論と弱いグローバルな意味構成能力をもたらす。本論文では、ハイパーグラフに基づく記憶メカニズムであるHGMemを提案する。これは、記憶の概念を単純な記憶領域から、複雑な推論とグローバルな理解のための動的で表現力豊かな構造へと拡張する。我々のアプローチでは、記憶はハイパーエッジが個別の記憶単位に対応するハイパーグラフとして表現され、記憶内での高次相互作用の漸進的形成を可能にする。このメカニズムは、焦点となる問題を中心に事実と考えを結びつけ、後続ステップでの深い推論に対する強力な命題を提供する、統合的かつ状況に埋め込まれた知識構造へと進化する。HGMemをグローバルな意味構成向けに設計された複数の挑戦的データセットで評価する。大規模な実験と詳細な分析により、本手法がマルチステップRAGを一貫して改善し、様々なタスクにおいて強力なベースラインシステムを大幅に上回ることを示す。

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.

長文脈における複雑な関係性モデリングのためのハイパーグラフベースメモリを用いた多段階RAGの改善

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

要旨

Support