Gráficos de Conocimiento Ejecutables para la Replicación de Investigación en IA

Executable Knowledge Graphs for Replicating AI Research

October 20, 2025

Autores: Yujie Luo, Zhuoyun Yu, Xuehai Wang, Yuqi Zhu, Ningyu Zhang, Lanning Wei, Lun Du, Da Zheng, Huajun Chen

cs.AI

Resumen

Replicar investigaciones de IA es una tarea crucial pero desafiante para los agentes de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés). Los enfoques existentes a menudo luchan por generar código ejecutable, principalmente debido a la insuficiencia de conocimiento de fondo y las limitaciones de los métodos de generación aumentada por recuperación (RAG, por sus siglas en inglés), que no logran capturar detalles técnicos latentes ocultos en los artículos referenciados. Además, los enfoques anteriores tienden a pasar por alto señales valiosas de código a nivel de implementación y carecen de representaciones estructuradas de conocimiento que apoyen la recuperación y reutilización multi-granular. Para superar estos desafíos, proponemos Grafos de Conocimiento Ejecutables (xKG, por sus siglas en inglés), una base de conocimiento modular y conectable que integra automáticamente conocimientos técnicos, fragmentos de código y conocimiento específico del dominio extraído de la literatura científica. Al integrarse en tres marcos de agentes con dos LLM diferentes, xKG muestra mejoras sustanciales en el rendimiento (10.9% con o3-mini) en PaperBench, demostrando su eficacia como una solución general y extensible para la replicación automatizada de investigaciones de IA. El código será liberado en https://github.com/zjunlp/xKG.

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.