Think-on-Graph 3.0: Эффективное и адаптивное рассуждение больших языковых моделей на гетерогенных графах с помощью мультиагентного двойного эволюционного извлечения контекста

Аннотация

Retrieval-Augmented Generation (RAG) и Graph-based RAG стали важной парадигмой для расширения возможностей крупных языковых моделей (LLM) за счет внешних знаний. Однако существующие подходы сталкиваются с фундаментальным компромиссом. В то время как методы, основанные на графах, изначально зависят от высококачественных графовых структур, они имеют значительные практические ограничения: ручное построение графов знаний чрезвычайно дорого для масштабирования, а автоматически извлеченные графы из корпусов ограничены производительностью базовых LLM-экстракторов, особенно при использовании более компактных локально развернутых моделей. В данной статье представлен Think-on-Graph 3.0 (ToG-3), новый фреймворк, который вводит механизм Multi-Agent Context Evolution and Retrieval (MACER) для преодоления этих ограничений. Наше ключевое нововведение заключается в динамическом построении и уточнении гетерогенного графового индекса Chunk-Triplets-Community, который впервые включает двойной механизм эволюции: Evolving Query и Evolving Sub-Graph для точного извлечения доказательств. Этот подход устраняет критическое ограничение предыдущих методов Graph-based RAG, которые обычно строят статический графовый индекс за один проход без адаптации к фактическому запросу. Мультиагентная система, состоящая из агентов Constructor, Retriever, Reflector и Responser, совместно участвует в итеративном процессе извлечения доказательств, генерации ответов, оценки достаточности и, что особенно важно, эволюции запроса и подграфа. Эта двойная эволюция мультиагентной системы позволяет ToG-3 адаптивно строить целевой графовый индекс в процессе рассуждения, смягчая присущие недостатки статического одноразового построения графа и обеспечивая глубокое и точное рассуждение даже с использованием легковесных LLM. Многочисленные эксперименты демонстрируют, что ToG-3 превосходит базовые подходы как на тестах глубокого, так и широкого рассуждения, а исследования с исключением компонентов подтверждают эффективность фреймворка MACER.

English

Retrieval-Augmented Generation (RAG) and Graph-based RAG has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches face a fundamental trade-off. While graph-based methods are inherently dependent on high-quality graph structures, they face significant practical constraints: manually constructed knowledge graphs are prohibitively expensive to scale, while automatically extracted graphs from corpora are limited by the performance of the underlying LLM extractors, especially when using smaller, local-deployed models. This paper presents Think-on-Graph 3.0 (ToG-3), a novel framework that introduces Multi-Agent Context Evolution and Retrieval (MACER) mechanism to overcome these limitations. Our core innovation is the dynamic construction and refinement of a Chunk-Triplets-Community heterogeneous graph index, which pioneeringly incorporates a dual-evolution mechanism of Evolving Query and Evolving Sub-Graph for precise evidence retrieval. This approach addresses a critical limitation of prior Graph-based RAG methods, which typically construct a static graph index in a single pass without adapting to the actual query. A multi-agent system, comprising Constructor, Retriever, Reflector, and Responser agents, collaboratively engages in an iterative process of evidence retrieval, answer generation, sufficiency reflection, and, crucially, evolving query and subgraph. This dual-evolving multi-agent system allows ToG-3 to adaptively build a targeted graph index during reasoning, mitigating the inherent drawbacks of static, one-time graph construction and enabling deep, precise reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework.

Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

Аннотация

Support