Think-on-Graph 3.0: Efficiënte en adaptieve LLM-redenering op heterogene grafieken via multi-agent dual-evoluerende contextretrieval

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

September 26, 2025

Auteurs: Xiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) en Graph-based RAG zijn uitgegroeid tot het belangrijke paradigma voor het versterken van Large Language Models (LLMs) met externe kennis. Bestaande benaderingen worden echter geconfronteerd met een fundamentele afweging. Hoewel grafische methoden inherent afhankelijk zijn van hoogwaardige grafische structuren, ondervinden ze aanzienlijke praktische beperkingen: handmatig geconstrueerde kennisgrafieken zijn onbetaalbaar om op te schalen, terwijl automatisch geëxtraheerde grafieken uit corpora beperkt worden door de prestaties van de onderliggende LLM-extractors, vooral bij het gebruik van kleinere, lokaal geïmplementeerde modellen. Dit artikel presenteert Think-on-Graph 3.0 (ToG-3), een nieuw framework dat het Multi-Agent Context Evolution and Retrieval (MACER) mechanisme introduceert om deze beperkingen te overwinnen. Onze kerninnovatie is de dynamische constructie en verfijning van een Chunk-Triplets-Community heterogene grafiekindex, die baanbrekend een dual-evolutiemechanisme van Evolving Query en Evolving Sub-Graph integreert voor precieze bewijsretrieval. Deze benadering adresseert een kritische beperking van eerdere Graph-based RAG-methoden, die typisch een statische grafiekindex in één keer construeren zonder zich aan te passen aan de daadwerkelijke query. Een multi-agent systeem, bestaande uit Constructor, Retriever, Reflector en Responser agents, werkt samen in een iteratief proces van bewijsretrieval, antwoordgeneratie, voldoende reflectie en, cruciaal, evoluerende query en subgrafiek. Dit dual-evoluerende multi-agent systeem stelt ToG-3 in staat om adaptief een gerichte grafiekindex te bouwen tijdens het redeneren, waardoor de inherente nadelen van statische, eenmalige grafiekconstructie worden gemitigeerd en diepgaand, precies redeneren mogelijk wordt, zelfs met lichtgewicht LLMs. Uitgebreide experimenten tonen aan dat ToG-3 de vergeleken baseline-methoden overtreft op zowel diepe als brede redeneerbenchmarks, en ablatiestudies bevestigen de effectiviteit van de componenten van het MACER-framework.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.