개선된 장문 맥락 이해를 위한 마음풍경 인식 검색 증강 생성

초록

인간은 내용에 대한 전체적인 의미 표현에 의존하여 길고 복잡한 텍스트를 이해합니다. 심리학에서 밝혀진 인간의 마음풍경 인식 능력에 따르면, 이러한 글로벌 시각은 사전 지식을 체계화하고 새로운 정보를 해석하며 문서 전반에 흩어져 있는 증거를 통합하는 데 도움을 줍니다. 현재의 검색 증강 생성 시스템은 이러한 지도가 부족하여 긴 문맥 작업에 어려움을 겪습니다. 본 논문에서는 LLM 기반 RAG 시스템에 명시적인 글로벌 문맥 인식을 부여하는 최초의 접근법인 마음풍경 인식 RAG를 제안합니다. MiA-RAG는 계층적 요약을 통해 마음풍경을 구축하고, 이 글로벌 의미 표현을 기반으로 검색과 생성을 모두 조건화합니다. 이를 통해 검색기는 풍부한 쿼리 임베딩을 형성할 수 있고, 생성기는 일관된 글로벌 문맥 내에서 검색된 증거에 대해 추론할 수 있습니다. 우리는 증거 기반 이해와 글로벌 의미 형성을 위한 다양한 긴 문맥 및 이중 언어 벤치마크에서 MiA-RAG를 평가합니다. MiA-RAG는 기준선을 지속적으로 능가하며, 추가 분석을 통해 지역적 세부 사항을 일관된 글로벌 표현과 정렬하여 보다 인간다운 긴 문맥 검색 및 추론을 가능하게 함을 보여줍니다.

English

Humans understand long and complex texts by relying on a holistic semantic representation of the content. This global view helps organize prior knowledge, interpret new information, and integrate evidence dispersed across a document, as revealed by the Mindscape-Aware Capability of humans in psychology. Current Retrieval-Augmented Generation (RAG) systems lack such guidance and therefore struggle with long-context tasks. In this paper, we propose Mindscape-Aware RAG (MiA-RAG), the first approach that equips LLM-based RAG systems with explicit global context awareness. MiA-RAG builds a mindscape through hierarchical summarization and conditions both retrieval and generation on this global semantic representation. This enables the retriever to form enriched query embeddings and the generator to reason over retrieved evidence within a coherent global context. We evaluate MiA-RAG across diverse long-context and bilingual benchmarks for evidence-based understanding and global sense-making. It consistently surpasses baselines, and further analysis shows that it aligns local details with a coherent global representation, enabling more human-like long-context retrieval and reasoning.

개선된 장문 맥락 이해를 위한 마음풍경 인식 검색 증강 생성

Mindscape-Aware Retrieval Augmented Generation for Improved Long Context Understanding

초록

Support