Think-on-Graph 3.0: Ragionamento Efficiente e Adattivo di LLM su Grafi Eterogenei tramite Recupero Contestuale a Doppia Evoluzione Multi-Agente

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

September 26, 2025

Autori: Xiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

cs.AI

Abstract

La Generazione Aumentata dal Recupero (RAG) e la RAG basata su grafi sono diventate paradigmi importanti per potenziare i Modelli Linguistici di Grande Scala (LLMs) con conoscenza esterna. Tuttavia, gli approcci esistenti affrontano un compromesso fondamentale. Mentre i metodi basati su grafi sono intrinsecamente dipendenti da strutture di grafi di alta qualità, incontrano significativi vincoli pratici: i grafi di conoscenza costruiti manualmente sono proibitivamente costosi da scalare, mentre i grafi estratti automaticamente dai corpora sono limitati dalle prestazioni degli estrattori LLM sottostanti, specialmente quando si utilizzano modelli più piccoli e localmente implementati. Questo articolo presenta Think-on-Graph 3.0 (ToG-3), un nuovo framework che introduce il meccanismo di Evoluzione e Recupero del Contesto Multi-Agente (MACER) per superare queste limitazioni. La nostra innovazione principale è la costruzione e il perfezionamento dinamico di un indice eterogeneo di grafi Chunk-Triplets-Community, che incorpora in modo pionieristico un meccanismo di doppia evoluzione di Query in Evoluzione e Sotto-Grafo in Evoluzione per un recupero preciso delle evidenze. Questo approccio affronta una limitazione critica dei precedenti metodi RAG basati su grafi, che tipicamente costruiscono un indice di grafi statico in un'unica passata senza adattarsi alla query effettiva. Un sistema multi-agente, composto da agenti Costruttore, Recuperatore, Riflettore e Risponditore, collabora in un processo iterativo di recupero delle evidenze, generazione di risposte, riflessione sulla sufficienza e, crucialmente, evoluzione della query e del sottografo. Questo sistema multi-agente a doppia evoluzione consente a ToG-3 di costruire adattivamente un indice di grafi mirato durante il ragionamento, mitigando gli svantaggi intrinseci della costruzione statica e una tantum del grafo e consentendo un ragionamento profondo e preciso anche con LLMs leggeri. Esperimenti estensivi dimostrano che ToG-3 supera i baseline di confronto sia su benchmark di ragionamento profondo che ampio, e studi di ablazione confermano l'efficacia dei componenti del framework MACER.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.