ComoRAG: 状態を保持する長文ナラティブ推論のための認知科学に着想を得たメモリ編成型RAG

要旨

長編ストーリーや小説の物語理解は、その複雑なプロットラインや登場人物やエンティティ間の絡み合い、しばしば変化する関係性により、挑戦的な領域とされてきた。大規模言語モデル（LLM）の長文脈に対する推論能力の低下と高い計算コストを考慮すると、実践的には検索ベースのアプローチが重要な役割を果たしている。しかし、従来のRAG（Retrieval-Augmented Generation）手法は、ステートレスで単一ステップの検索プロセスであるため、長文脈内の相互に関連する関係性を捉える動的な性質を見落とすことが多い。本研究では、物語推論が一発のプロセスではなく、新しい証拠の獲得と過去の知識の統合との間の動的で進化する相互作用であるという原則に基づき、ComoRAGを提案する。これは、脳内の記憶関連信号を用いて推論する人間の認知に類似している。具体的には、推論の行き詰まりに遭遇した際、ComoRAGは動的なメモリワークスペースと相互作用しながら反復的な推論サイクルを経る。各サイクルでは、新しい探索パスを考案するためのプロービングクエリを生成し、その後、新しい側面の検索された証拠をグローバルメモリプールに統合し、クエリ解決のための一貫した文脈の出現を支援する。4つの挑戦的な長文脈物語ベンチマーク（20万トークン以上）において、ComoRAGは強力なRAGベースラインを一貫して上回り、最強のベースラインと比較して最大11%の相対的な向上を示した。さらなる分析により、ComoRAGはグローバルな理解を必要とする複雑なクエリに対して特に有利であり、ステートフルな推論に向けた検索ベースの長文脈理解のための原則的で認知科学的に動機づけられたパラダイムを提供することが明らかになった。私たちのコードはhttps://github.com/EternityJune25/ComoRAGで公開されている。

English

Narrative comprehension on long stories and novels has been a challenging domain attributed to their intricate plotlines and entangled, often evolving relations among characters and entities. Given the LLM's diminished reasoning over extended context and high computational cost, retrieval-based approaches remain a pivotal role in practice. However, traditional RAG methods can fall short due to their stateless, single-step retrieval process, which often overlooks the dynamic nature of capturing interconnected relations within long-range context. In this work, we propose ComoRAG, holding the principle that narrative reasoning is not a one-shot process, but a dynamic, evolving interplay between new evidence acquisition and past knowledge consolidation, analogous to human cognition when reasoning with memory-related signals in the brain. Specifically, when encountering a reasoning impasse, ComoRAG undergoes iterative reasoning cycles while interacting with a dynamic memory workspace. In each cycle, it generates probing queries to devise new exploratory paths, then integrates the retrieved evidence of new aspects into a global memory pool, thereby supporting the emergence of a coherent context for the query resolution. Across four challenging long-context narrative benchmarks (200K+ tokens), ComoRAG outperforms strong RAG baselines with consistent relative gains up to 11% compared to the strongest baseline. Further analysis reveals that ComoRAG is particularly advantageous for complex queries requiring global comprehension, offering a principled, cognitively motivated paradigm for retrieval-based long context comprehension towards stateful reasoning. Our code is publicly released at https://github.com/EternityJune25/ComoRAG

ComoRAG: 状態を保持する長文ナラティブ推論のための認知科学に着想を得たメモリ編成型RAG

ComoRAG: A Cognitive-Inspired Memory-Organized RAG for Stateful Long Narrative Reasoning

要旨

Support