再現可能なAI研究のための実行可能な知識グラフ

要旨

AI研究の再現は、大規模言語モデル（LLM）エージェントにとって重要でありながらも困難な課題である。既存のアプローチでは、実行可能なコードを生成することがしばしば困難であり、その主な原因は背景知識の不足と、参照論文に隠された技術的な詳細を捉えられない検索拡張生成（RAG）手法の限界にある。さらに、従来のアプローチでは、貴重な実装レベルのコードシグナルを見落としがちであり、多粒度の検索と再利用をサポートする構造化された知識表現が欠如している。これらの課題を克服するため、我々は実行可能な知識グラフ（xKG）を提案する。これは、科学文献から抽出された技術的洞察、コードスニペット、ドメイン固有の知識を自動的に統合するモジュール式でプラグ可能な知識ベースである。xKGを3つのエージェントフレームワークと2つの異なるLLMに統合した結果、PaperBenchにおいて大幅な性能向上（o3-miniで10.9%）を示し、自動化されたAI研究再現のための一般的かつ拡張可能なソリューションとしての有効性を実証した。コードはhttps://github.com/zjunlp/xKGで公開される。

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.

再現可能なAI研究のための実行可能な知識グラフ

Executable Knowledge Graphs for Replicating AI Research

要旨

Support