Think-on-Graph 3.0: Effizientes und adaptives LLM-Reasoning auf heterogenen Graphen durch Multi-Agenten-Dual-Evolving-Kontextabruf

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

September 26, 2025

papers.authors: Xiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

cs.AI

papers.abstract

Retrieval-Augmented Generation (RAG) und Graph-basiertes RAG haben sich zu einem wichtigen Paradigma für die Erweiterung von Large Language Models (LLMs) mit externem Wissen entwickelt. Bestehende Ansätze stehen jedoch vor einem grundlegenden Zielkonflikt. Während graph-basierte Methoden inhärent von hochwertigen Graphstrukturen abhängig sind, stoßen sie auf erhebliche praktische Einschränkungen: Manuell erstellte Wissensgraphen sind in der Skalierung prohibitv teuer, während automatisch aus Korpora extrahierte Graphen durch die Leistung der zugrunde liegenden LLM-Extraktoren begrenzt sind, insbesondere bei der Verwendung kleinerer, lokal eingesetzter Modelle. Dieses Papier stellt Think-on-Graph 3.0 (ToG-3) vor, ein neuartiges Framework, das den Multi-Agent Context Evolution and Retrieval (MACER)-Mechanismus einführt, um diese Einschränkungen zu überwinden. Unsere Kerninnovation ist die dynamische Konstruktion und Verfeinerung eines Chunk-Triplets-Community heterogenen Graphindex, der erstmals einen Dual-Evolutionsmechanismus aus Evolving Query und Evolving Sub-Graph für die präzise Beweisabfrage integriert. Dieser Ansatz adressiert eine kritische Schwäche früherer Graph-basierter RAG-Methoden, die typischerweise einen statischen Graphindex in einem einzigen Durchlauf erstellen, ohne sich an die tatsächliche Abfrage anzupassen. Ein Multi-Agenten-System, bestehend aus Constructor-, Retriever-, Reflector- und Responser-Agenten, arbeitet kollaborativ in einem iterativen Prozess der Beweisabfrage, Antwortgenerierung, Suffizienzreflexion und, entscheidend, der Entwicklung von Abfrage und Subgraph. Dieses dual-evolvierende Multi-Agenten-System ermöglicht es ToG-3, während des Schlussfolgerns einen zielgerichteten Graphindex adaptiv aufzubauen, wodurch die inhärenten Nachteile der statischen, einmaligen Graphkonstruktion gemildert werden und tiefes, präzises Schlussfolgern auch mit leichten LLMs ermöglicht wird. Umfangreiche Experimente zeigen, dass ToG-3 die Vergleichsbaselines sowohl bei tiefen als auch breiten Schlussfolgerungsbenchmarks übertrifft, und Ablationsstudien bestätigen die Wirksamkeit der Komponenten des MACER-Frameworks.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.