ComoRAG: 상태 유지형 장기 서사 추론을 위한 인지 영감 메모리 조직화 RAG

초록

긴 이야기와 소설에 대한 서사적 이해는 복잡한 플롯과 등장인물 및 개체 간의 얽히고 변하는 관계로 인해 도전적인 영역으로 여겨져 왔습니다. 대형 언어 모델(LLM)이 확장된 맥락에 대한 추론 능력이 제한적이고 계산 비용이 높기 때문에, 실제로는 검색 기반 접근 방식이 중요한 역할을 하고 있습니다. 그러나 전통적인 RAG(Retrieval-Augmented Generation) 방법은 상태를 유지하지 않는 단일 단계 검색 프로세스로 인해 장거리 맥락 내에서 상호 연결된 관계를 포착하는 동적인 특성을 종종 간과할 수 있습니다. 본 연구에서는 서사적 추론이 일회성 과정이 아니라 새로운 증거 획득과 과거 지식 통합 간의 동적이고 진화하는 상호작용이라는 원칙을 기반으로 ComoRAG를 제안합니다. 이는 인간이 뇌의 기억 관련 신호를 활용해 추론할 때의 인지 과정과 유사합니다. 구체적으로, ComoRAG는 추론의 막다른 길에 부딪혔을 때 동적 메모리 작업 공간과 상호작용하며 반복적인 추론 주기를 거칩니다. 각 주기에서 탐색적 경로를 설계하기 위한 탐색 쿼리를 생성한 후, 새로운 측면의 검색된 증거를 전역 메모리 풀에 통합하여 쿼리 해결을 위한 일관된 맥락의 형성을 지원합니다. 200,000 토큰 이상의 도전적인 장거리 서사 벤치마크 네 가지에서 ComoRAG는 강력한 RAG 베이스라인 대비 최대 11%의 일관된 상대적 성능 향상을 보였습니다. 추가 분석 결과, ComoRAG는 전역적 이해가 필요한 복잡한 쿼리에 특히 유리하며, 상태를 유지하는 추론을 위한 검색 기반 장거리 맥락 이해에 대한 원칙적이고 인지적으로 동기 부여된 패러다임을 제공합니다. 우리의 코드는 https://github.com/EternityJune25/ComoRAG에서 공개되었습니다.

English

Narrative comprehension on long stories and novels has been a challenging domain attributed to their intricate plotlines and entangled, often evolving relations among characters and entities. Given the LLM's diminished reasoning over extended context and high computational cost, retrieval-based approaches remain a pivotal role in practice. However, traditional RAG methods can fall short due to their stateless, single-step retrieval process, which often overlooks the dynamic nature of capturing interconnected relations within long-range context. In this work, we propose ComoRAG, holding the principle that narrative reasoning is not a one-shot process, but a dynamic, evolving interplay between new evidence acquisition and past knowledge consolidation, analogous to human cognition when reasoning with memory-related signals in the brain. Specifically, when encountering a reasoning impasse, ComoRAG undergoes iterative reasoning cycles while interacting with a dynamic memory workspace. In each cycle, it generates probing queries to devise new exploratory paths, then integrates the retrieved evidence of new aspects into a global memory pool, thereby supporting the emergence of a coherent context for the query resolution. Across four challenging long-context narrative benchmarks (200K+ tokens), ComoRAG outperforms strong RAG baselines with consistent relative gains up to 11% compared to the strongest baseline. Further analysis reveals that ComoRAG is particularly advantageous for complex queries requiring global comprehension, offering a principled, cognitively motivated paradigm for retrieval-based long context comprehension towards stateful reasoning. Our code is publicly released at https://github.com/EternityJune25/ComoRAG

ComoRAG: 상태 유지형 장기 서사 추론을 위한 인지 영감 메모리 조직화 RAG

ComoRAG: A Cognitive-Inspired Memory-Organized RAG for Stateful Long Narrative Reasoning

초록

Support