Think-on-Graph 3.0: Raciocínio Eficiente e Adaptativo de LLM em Grafos Heterogêneos via Recuperação de Contexto de Dupla Evolução Multiagente

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

September 26, 2025

Autores: Xiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

cs.AI

Resumo

A Geração Aumentada por Recuperação (RAG) e a RAG Baseada em Grafos tornaram-se paradigmas importantes para aprimorar Modelos de Linguagem de Grande Escala (LLMs) com conhecimento externo. No entanto, as abordagens existentes enfrentam uma troca fundamental. Enquanto os métodos baseados em grafos são inerentemente dependentes de estruturas de grafos de alta qualidade, eles enfrentam restrições práticas significativas: grafos de conhecimento construídos manualmente são proibitivamente caros para escalar, enquanto grafos extraídos automaticamente de corpora são limitados pelo desempenho dos extratores de LLM subjacentes, especialmente ao usar modelos menores e implantados localmente. Este artigo apresenta o Think-on-Graph 3.0 (ToG-3), uma nova estrutura que introduz o mecanismo de Evolução e Recuperação de Contexto Multi-Agente (MACER) para superar essas limitações. Nossa inovação central é a construção e refinamento dinâmico de um índice de grafo heterogêneo Chunk-Triplets-Community, que pioneiramente incorpora um mecanismo de dupla evolução de Consulta Evolutiva e Sub-Grafo Evolutivo para recuperação precisa de evidências. Essa abordagem aborda uma limitação crítica dos métodos anteriores de RAG Baseada em Grafos, que normalmente constroem um índice de grafo estático em uma única passagem sem se adaptar à consulta real. Um sistema multi-agente, composto por agentes Construtor, Recuperador, Refletor e Respondedor, colabora em um processo iterativo de recuperação de evidências, geração de respostas, reflexão de suficiência e, crucialmente, evolução da consulta e do subgrafo. Esse sistema multi-agente de dupla evolução permite que o ToG-3 construa adaptativamente um índice de grafo direcionado durante o raciocínio, mitigando as desvantagens inerentes da construção estática e única de grafos e permitindo um raciocínio profundo e preciso mesmo com LLMs leves. Experimentos extensivos demonstram que o ToG-3 supera as linhas de base comparadas em benchmarks de raciocínio profundo e amplo, e estudos de ablação confirmam a eficácia dos componentes da estrutura MACER.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.