Think-on-Graph 3.0 : Raisonnement efficace et adaptatif des LLM sur des graphes hétérogènes via une récupération de contexte à double évolution multi-agent

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

September 26, 2025

papers.authors: Xiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

cs.AI

papers.abstract

La Génération Augmentée par Récupération (RAG) et la RAG basée sur les graphes sont devenues un paradigme important pour améliorer les modèles de langage de grande taille (LLMs) avec des connaissances externes. Cependant, les approches existantes sont confrontées à un compromis fondamental. Alors que les méthodes basées sur les graphes dépendent intrinsèquement de structures de graphes de haute qualité, elles rencontrent des contraintes pratiques significatives : les graphes de connaissances construits manuellement sont prohibitifs à l'échelle, tandis que les graphes extraits automatiquement à partir de corpus sont limités par la performance des extracteurs de LLM sous-jacents, en particulier lors de l'utilisation de modèles plus petits et déployés localement. Cet article présente Think-on-Graph 3.0 (ToG-3), un nouveau cadre qui introduit un mécanisme d'Évolution et de Récupération de Contexte Multi-Agent (MACER) pour surmonter ces limitations. Notre innovation principale est la construction et le raffinement dynamiques d'un index de graphe hétérogène Chunk-Triplets-Community, qui intègre de manière pionnière un mécanisme de double évolution de Requête Évolutive et de Sous-Graphe Évolutif pour une récupération précise de preuves. Cette approche aborde une limitation critique des méthodes RAG basées sur les graphes précédentes, qui construisent généralement un index de graphe statique en une seule passe sans s'adapter à la requête réelle. Un système multi-agent, composé d'agents Constructeur, Récupérateur, Réflecteur et Répondeur, collabore dans un processus itératif de récupération de preuves, de génération de réponses, de réflexion sur la suffisance et, crucialement, d'évolution de la requête et du sous-graphe. Ce système multi-agent à double évolution permet à ToG-3 de construire de manière adaptative un index de graphe ciblé pendant le raisonnement, atténuant les inconvénients inhérents à la construction statique et ponctuelle de graphes et permettant un raisonnement profond et précis même avec des LLMs légers. Des expériences approfondies démontrent que ToG-3 surpasse les bases de référence sur des benchmarks de raisonnement profond et large, et des études d'ablation confirment l'efficacité des composants du cadre MACER.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.