Think-on-Graph 3.0: Razonamiento Eficiente y Adaptativo de LLM en Grafos Heterogéneos mediante Recuperación de Contexto Dual-Evolutivo Multiagente

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

September 26, 2025

Autores: Xiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

cs.AI

Resumen

La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) y la RAG basada en grafos se han convertido en un paradigma importante para mejorar los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) con conocimiento externo. Sin embargo, los enfoques existentes enfrentan una compensación fundamental. Mientras que los métodos basados en grafos dependen inherentemente de estructuras de grafos de alta calidad, enfrentan limitaciones prácticas significativas: los grafos de conocimiento construidos manualmente son prohibitivamente costosos de escalar, mientras que los grafos extraídos automáticamente de corpus están limitados por el rendimiento de los extractores de LLMs subyacentes, especialmente cuando se utilizan modelos más pequeños y desplegados localmente. Este artículo presenta Think-on-Graph 3.0 (ToG-3), un marco novedoso que introduce el mecanismo de Evolución y Recuperación de Contexto Multi-Agente (MACER, por sus siglas en inglés) para superar estas limitaciones. Nuestra innovación central es la construcción y refinamiento dinámico de un índice de grafo heterogéneo de Chunk-Triplets-Community, que incorpora de manera pionera un mecanismo de doble evolución de Consulta Evolutiva y Sub-Grafo Evolutivo para una recuperación precisa de evidencia. Este enfoque aborda una limitación crítica de los métodos previos de RAG basados en grafos, que típicamente construyen un índice de grafo estático en una sola pasada sin adaptarse a la consulta real. Un sistema multi-agente, compuesto por agentes Constructor, Recuperador, Reflector y Respondedor, colabora en un proceso iterativo de recuperación de evidencia, generación de respuestas, reflexión de suficiencia y, crucialmente, evolución de la consulta y el subgrafo. Este sistema multi-agente de doble evolución permite que ToG-3 construya adaptativamente un índice de grafo dirigido durante el razonamiento, mitigando los inconvenientes inherentes de la construcción estática y única de grafos y permitiendo un razonamiento profundo y preciso incluso con LLMs ligeros. Experimentos extensivos demuestran que ToG-3 supera a las líneas base comparadas en benchmarks de razonamiento profundo y amplio, y los estudios de ablación confirman la eficacia de los componentes del marco MACER.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.