Think-on-Graph 3.0: 다중 에이전트 이중 진화 컨텍스트 검색을 통한 이종 그래프 상의 효율적이고 적응적인 LLM 추론

초록

검색 증강 생성(Retrieval-Augmented Generation, RAG) 및 그래프 기반 RAG는 외부 지식을 활용하여 대규모 언어 모델(Large Language Models, LLMs)을 강화하는 중요한 패러다임으로 자리 잡았습니다. 그러나 기존 접근 방식은 근본적인 트레이드오프에 직면해 있습니다. 그래프 기반 방법은 본질적으로 고품질 그래프 구조에 의존하지만, 실질적인 제약이 존재합니다: 수동으로 구축된 지식 그래프는 확장하기에 비용이 너무 많이 들고, 코퍼스에서 자동으로 추출된 그래프는 기본 LLM 추출기의 성능에 제한을 받으며, 특히 더 작고 로컬로 배포된 모델을 사용할 때 이러한 한계가 두드러집니다. 본 논문은 이러한 한계를 극복하기 위해 다중 에이전트 컨텍스트 진화 및 검색(Multi-Agent Context Evolution and Retrieval, MACER) 메커니즘을 도입한 새로운 프레임워크인 Think-on-Graph 3.0(ToG-3)을 제안합니다. 우리의 핵심 혁신은 Chunk-Triplets-Community 이종 그래프 인덱스의 동적 구축 및 정제로, 이를 통해 진화하는 쿼리와 진화하는 서브 그래프의 이중 진화 메커니즘을 선구적으로 통합하여 정밀한 증거 검색을 가능하게 합니다. 이 접근 방식은 일반적으로 단일 패스로 정적 그래프 인덱스를 구축하고 실제 쿼리에 적응하지 않는 기존 그래프 기반 RAG 방법의 중요한 한계를 해결합니다. Constructor, Retriever, Reflector, Responser 에이전트로 구성된 다중 에이전트 시스템은 증거 검색, 답변 생성, 충분성 반영, 그리고 특히 쿼리와 서브 그래프의 진화를 포함한 반복적인 프로세스에 협력적으로 참여합니다. 이 이중 진화 다중 에이전트 시스템은 ToG-3이 추론 과정에서 타겟 그래프 인덱스를 적응적으로 구축할 수 있게 하여, 정적이고 일회성인 그래프 구축의 본질적인 단점을 완화하고, 경량 LLM을 사용하더라도 깊고 정밀한 추론을 가능하게 합니다. 광범위한 실험을 통해 ToG-3이 깊고 넓은 추론 벤치마크에서 비교 대상들을 능가함을 입증했으며, MACER 프레임워크의 구성 요소들의 효용성을 확인하는 절제 연구도 수행되었습니다.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.

Think-on-Graph 3.0: 다중 에이전트 이중 진화 컨텍스트 검색을 통한 이종 그래프 상의 효율적이고 적응적인 LLM 추론

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

초록

Support