長文脈理解の改善のためのマインドスケープ認識検索拡張生成

要旨

人間は、長文や複雑なテキストを理解する際に、内容の全体的な意味表現に依存している。このグローバルな視点は、心理学におけるマインドスケープ認識能力が示すように、既存の知識を体系化し、新たな情報を解釈し、文書全体に散在する証拠を統合するのに役立つ。現在の検索拡張生成（RAG）システムにはこのような指針が欠けており、長文コンテキストのタスクに苦戦している。本論文では、大規模言語モデルベースのRAGシステムに明示的なグローバルコンテキスト認識を備えた初のアプローチである、マインドスケープ認識RAG（MiA-RAG）を提案する。MiA-RAGは階層的要約を通じてマインドスケープを構築し、検索と生成の両方をこのグローバルな意味表現に条件付けする。これにより、検索器は豊かなクエリ埋め込みを形成し、生成器は一貫性のあるグローバルコンテキスト内で検索された証拠に基づいて推論を行うことができる。MiA-RAGを、証拠に基づく理解とグローバルな意味構成のための多様な長文コンテキスト及び二言語ベンチマークで評価した結果、一貫してベースラインを上回り、さらに分析により、局所的な詳細を一貫性のあるグローバル表現に整合させ、より人間らしい長文コンテキストの検索と推論を可能にすることが示された。

English

Humans understand long and complex texts by relying on a holistic semantic representation of the content. This global view helps organize prior knowledge, interpret new information, and integrate evidence dispersed across a document, as revealed by the Mindscape-Aware Capability of humans in psychology. Current Retrieval-Augmented Generation (RAG) systems lack such guidance and therefore struggle with long-context tasks. In this paper, we propose Mindscape-Aware RAG (MiA-RAG), the first approach that equips LLM-based RAG systems with explicit global context awareness. MiA-RAG builds a mindscape through hierarchical summarization and conditions both retrieval and generation on this global semantic representation. This enables the retriever to form enriched query embeddings and the generator to reason over retrieved evidence within a coherent global context. We evaluate MiA-RAG across diverse long-context and bilingual benchmarks for evidence-based understanding and global sense-making. It consistently surpasses baselines, and further analysis shows that it aligns local details with a coherent global representation, enabling more human-like long-context retrieval and reasoning.

長文脈理解の改善のためのマインドスケープ認識検索拡張生成

Mindscape-Aware Retrieval Augmented Generation for Improved Long Context Understanding

要旨

Support