Ausführbare Wissensgraphen zur Replikation von KI-Forschung

papers.abstract

Die Replikation von KI-Forschung ist eine entscheidende, jedoch herausfordernde Aufgabe für Agenten großer Sprachmodelle (LLMs). Bestehende Ansätze haben oft Schwierigkeiten, ausführbaren Code zu generieren, hauptsächlich aufgrund unzureichenden Hintergrundwissens und der Einschränkungen von Retrieval-Augmented-Generation (RAG)-Methoden, die latente technische Details in referenzierten Arbeiten nicht erfassen können. Darüber hinaus neigen frühere Ansätze dazu, wertvolle Implementierungs-Code-Signale zu übersehen und verfügen nicht über strukturierte Wissensrepräsentationen, die eine mehrgranulare Suche und Wiederverwendung unterstützen. Um diese Herausforderungen zu bewältigen, schlagen wir Executable Knowledge Graphs (xKG) vor, eine modulare und anpassbare Wissensbasis, die automatisch technische Erkenntnisse, Code-Snippets und domänenspezifisches Wissen aus wissenschaftlicher Literatur integriert. Wenn xKG in drei Agenten-Frameworks mit zwei verschiedenen LLMs integriert wird, zeigt es erhebliche Leistungssteigerungen (10,9 % mit o3-mini) auf PaperBench, was seine Effektivität als allgemeine und erweiterbare Lösung für die automatisierte Replikation von KI-Forschung unterstreicht. Der Code wird unter https://github.com/zjunlp/xKG veröffentlicht.

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.

Ausführbare Wissensgraphen zur Replikation von KI-Forschung

Executable Knowledge Graphs for Replicating AI Research

papers.abstract

Support