Grafos de Conhecimento Executáveis para Replicação de Pesquisa em IA

Executable Knowledge Graphs for Replicating AI Research

October 20, 2025

Autores: Yujie Luo, Zhuoyun Yu, Xuehai Wang, Yuqi Zhu, Ningyu Zhang, Lanning Wei, Lun Du, Da Zheng, Huajun Chen

cs.AI

Resumo

Replicar pesquisas de IA é uma tarefa crucial, porém desafiadora, para agentes de modelos de linguagem de grande escala (LLMs). As abordagens existentes frequentemente enfrentam dificuldades para gerar código executável, principalmente devido ao conhecimento de base insuficiente e às limitações dos métodos de geração aumentada por recuperação (RAG), que falham em capturar detalhes técnicos latentes ocultos em artigos referenciados. Além disso, abordagens anteriores tendem a negligenciar sinais valiosos de código em nível de implementação e carecem de representações estruturadas de conhecimento que suportem a recuperação e reutilização em múltiplos níveis de granularidade. Para superar esses desafios, propomos Grafos de Conhecimento Executáveis (xKG), uma base de conhecimento modular e plugável que integra automaticamente insights técnicos, trechos de código e conhecimento específico de domínio extraídos da literatura científica. Quando integrado em três frameworks de agentes com dois LLMs diferentes, o xKG demonstra ganhos substanciais de desempenho (10,9% com o3-mini) no PaperBench, evidenciando sua eficácia como uma solução geral e extensível para a replicação automatizada de pesquisas de IA. O código será liberado em https://github.com/zjunlp/xKG.

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.