Uitvoerbare Kennisgrafen voor het Repliceren van AI-onderzoek

Samenvatting

Het repliceren van AI-onderzoek is een cruciale maar uitdagende taak voor grote taalmodel (LLM) agents. Bestaande benaderingen hebben vaak moeite met het genereren van uitvoerbare code, voornamelijk door onvoldoende achtergrondkennis en de beperkingen van retrieval-augmented generation (RAG) methoden, die latente technische details in referentiedocumenten niet kunnen vastleggen. Bovendien negeren eerdere benaderingen vaak waardevolle implementatieniveau code-signalen en ontbreekt het aan gestructureerde kennisrepresentaties die multi-granulaire retrieval en hergebruik ondersteunen. Om deze uitdagingen te overwinnen, stellen we Executable Knowledge Graphs (xKG) voor, een modulaire en pluggable kennisbank die automatisch technische inzichten, codefragmenten en domeinspecifieke kennis integreert die uit wetenschappelijke literatuur zijn geëxtraheerd. Wanneer xKG wordt geïntegreerd in drie agent-frameworks met twee verschillende LLM's, laat het aanzienlijke prestatieverbeteringen zien (10,9% met o3-mini) op PaperBench, wat de effectiviteit ervan aantoont als een algemene en uitbreidbare oplossing voor geautomatiseerde AI-onderzoeksreplicatie. De code zal worden vrijgegeven op https://github.com/zjunlp/xKG.

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.

Uitvoerbare Kennisgrafen voor het Repliceren van AI-onderzoek

Executable Knowledge Graphs for Replicating AI Research

Samenvatting

Support