Think-on-Graph 3.0：マルチエージェント双方向進化型コンテキスト検索による異種グラフ上の効率的かつ適応的なLLM推論

要旨

検索拡張生成（Retrieval-Augmented Generation, RAG）およびグラフベースのRAGは、外部知識を活用して大規模言語モデル（Large Language Models, LLMs）を強化するための重要なパラダイムとなっている。しかし、既存のアプローチには根本的なトレードオフが存在する。グラフベースの手法は本質的に高品質なグラフ構造に依存するが、実用的な制約が大きい。手動で構築された知識グラフはスケールアップするのに非常にコストがかかり、コーパスから自動抽出されたグラフは基盤となるLLM抽出器の性能、特に小規模なローカルデプロイモデルを使用する場合に制限される。本論文では、これらの制限を克服するために、マルチエージェントコンテキスト進化と検索（Multi-Agent Context Evolution and Retrieval, MACER）メカニズムを導入した新たなフレームワークであるThink-on-Graph 3.0（ToG-3）を提案する。我々の核心的な革新は、Chunk-Triplets-Community異種グラフインデックスの動的構築と精緻化であり、これにより進化するクエリと進化するサブグラフの二重進化メカニズムを先駆的に取り入れ、精密な証拠検索を実現する。このアプローチは、従来のグラフベースRAG手法が通常、実際のクエリに適応せずに一度きりの静的グラフインデックスを構築するという重大な制限を解決する。Constructor、Retriever、Reflector、Responserのエージェントからなるマルチエージェントシステムは、証拠検索、回答生成、十分性の反映、そして特にクエリとサブグラフの進化という反復プロセスに協調的に関与する。この二重進化型マルチエージェントシステムにより、ToG-3は推論中にターゲットを絞ったグラフインデックスを適応的に構築し、静的で一度きりのグラフ構築の欠点を軽減し、軽量なLLMでも深く精密な推論を可能にする。広範な実験により、ToG-3が深い推論と広範な推論のベンチマークにおいて比較対象のベースラインを上回ることが示され、アブレーション研究によりMACERフレームワークの各コンポーネントの有効性が確認された。

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.

Think-on-Graph 3.0：マルチエージェント双方向進化型コンテキスト検索による異種グラフ上の効率的かつ適応的なLLM推論

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

要旨

Support