장문 복합 관계 모델링을 위한 하이퍼그래프 기반 메모리 기법을 활용한 다단계 RAG 성능 향상

초록

다단계 검색-강화 생성(RAG)은 전역적 이해와 집중적 추론을 요구하는 과제에서 대규모 언어 모델(LLM)의 성능을 향상시키기 위해 널리 채택된 전략이 되었습니다. 많은 RAG 시스템은 검색된 정보를 통합하기 위한 작업 메모리 모듈을 포함합니다. 그러나 기존 메모리 설계는 주로 장문 입력을 요약하고 연역을 통해 새로운 하위 질의를 생성하기 위해 고립된 사실을 누적하는 수동적 저장소로 기능합니다. 이러한 정적 특성은 원시 사실 간의 중요한 고차 상관관계를 간과하는데, 이러한 조합은 후속 단계에 더 강력한 지침을 제공할 수 있습니다. 따라서 기존 방식은 표현력과 다단계 추론 및 지식 진화에 미치는 영향이 제한적이며, 이는 단편적 추론과 확장된 맥락에서 약한 전역적 의미 구축 능력으로 이어집니다. 우리는 HGMem이라는 하이퍼그래프 기반 메모리 메커니즘을 소개합니다. 이는 메모리 개념을 단순한 저장소를 넘어 복잡한 추론과 전역적 이해를 위한 동적이고 표현력 있는 구조로 확장합니다. 우리의 접근 방식에서 메모리는 하이퍼에지가 개별 메모리 단위에 해당하는 하이퍼그래프로 표현되며, 이를 통해 메모리 내에서 고차원적 상호작용이 점진적으로 형성됩니다. 이 메커니즘은 핵심 문제를 중심으로 사실과 사고를 연결하여 통합적이고 상황에 맞는 지식 구조로 진화하며, 후속 단계의 심층 추론을 위한 강력한 명제를 제공합니다. 우리는 HGMem을 전역적 의미 구축을 위해 설계된 여러 어려운 데이터셋에서 평가합니다. 광범위한 실험과 심층 분석을 통해 우리의 방법이 다단계 RAG를 지속적으로 개선하며 다양한 과제에서 강력한 기준 시스템을 크게 능가함을 보여줍니다.

English

Multi-step retrieval-augmented generation (RAG) has become a widely adopted strategy for enhancing large language models (LLMs) on tasks that demand global comprehension and intensive reasoning. Many RAG systems incorporate a working memory module to consolidate retrieved information. However, existing memory designs function primarily as passive storage that accumulates isolated facts for the purpose of condensing the lengthy inputs and generating new sub-queries through deduction. This static nature overlooks the crucial high-order correlations among primitive facts, the compositions of which can often provide stronger guidance for subsequent steps. Therefore, their representational strength and impact on multi-step reasoning and knowledge evolution are limited, resulting in fragmented reasoning and weak global sense-making capacity in extended contexts. We introduce HGMem, a hypergraph-based memory mechanism that extends the concept of memory beyond simple storage into a dynamic, expressive structure for complex reasoning and global understanding. In our approach, memory is represented as a hypergraph whose hyperedges correspond to distinct memory units, enabling the progressive formation of higher-order interactions within memory. This mechanism connects facts and thoughts around the focal problem, evolving into an integrated and situated knowledge structure that provides strong propositions for deeper reasoning in subsequent steps. We evaluate HGMem on several challenging datasets designed for global sense-making. Extensive experiments and in-depth analyses show that our method consistently improves multi-step RAG and substantially outperforms strong baseline systems across diverse tasks.

장문 복합 관계 모델링을 위한 하이퍼그래프 기반 메모리 기법을 활용한 다단계 RAG 성능 향상

Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling

초록

Support