Исполняемые графы знаний для воспроизведения исследований в области искусственного интеллекта

Executable Knowledge Graphs for Replicating AI Research

October 20, 2025

Авторы: Yujie Luo, Zhuoyun Yu, Xuehai Wang, Yuqi Zhu, Ningyu Zhang, Lanning Wei, Lun Du, Da Zheng, Huajun Chen

cs.AI

Аннотация

Воспроизведение исследований в области искусственного интеллекта является важной, но сложной задачей для агентов, работающих с большими языковыми моделями (LLM). Существующие подходы часто сталкиваются с трудностями при генерации исполняемого кода, что в первую очередь связано с недостаточным объемом фоновых знаний и ограничениями методов генерации, усиленной поиском (RAG), которые не способны уловить скрытые технические детали, содержащиеся в упомянутых научных работах. Кроме того, предыдущие подходы склонны игнорировать ценные сигналы на уровне реализации кода и не обладают структурированными представлениями знаний, которые поддерживают многоуровневый поиск и повторное использование. Для преодоления этих проблем мы предлагаем Исполняемые графы знаний (xKG) — модульную и подключаемую базу знаний, которая автоматически интегрирует технические инсайты, фрагменты кода и предметно-ориентированные знания, извлеченные из научной литературы. При интеграции в три фреймворка агентов с использованием двух различных LLM, xKG демонстрирует значительное улучшение производительности (10,9% с o3-mini) на тестовом наборе PaperBench, подтверждая свою эффективность в качестве универсального и расширяемого решения для автоматизированного воспроизведения исследований в области ИИ. Код будет доступен по адресу https://github.com/zjunlp/xKG.

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.