AI 연구 재현을 위한 실행 가능한 지식 그래프

초록

AI 연구의 재현은 대규모 언어 모델(LLM) 에이전트에게 있어 중요한 과제이면서도 어려운 작업이다. 기존의 접근 방식들은 실행 가능한 코드를 생성하는 데 어려움을 겪는 경우가 많으며, 이는 주로 배경 지식의 부족과 참고 논문에 숨겨진 잠재적 기술적 세부 사항을 포착하지 못하는 검색 증강 생성(RAG) 방법의 한계 때문이다. 더욱이, 이전의 접근 방식들은 가치 있는 구현 수준의 코드 신호를 간과하는 경향이 있으며, 다중 세분화 검색과 재사용을 지원하는 구조화된 지식 표현이 부족하다. 이러한 문제를 극복하기 위해, 우리는 실행 가능한 지식 그래프(Executable Knowledge Graphs, xKG)를 제안한다. xKG는 과학 문헌에서 추출된 기술적 통찰, 코드 스니펫, 도메인 특화 지식을 자동으로 통합하는 모듈식 및 플러그형 지식 기반이다. 두 가지 다른 LLM을 사용한 세 가지 에이전트 프레임워크에 통합되었을 때, xKG는 PaperBench에서 상당한 성능 향상(o3-mini 기준 10.9%)을 보여주며, 자동화된 AI 연구 재현을 위한 일반적이고 확장 가능한 솔루션으로서의 효과를 입증한다. 코드는 https://github.com/zjunlp/xKG에서 공개될 예정이다.

English

Replicating AI research is a crucial yet challenging task for large language model (LLM) agents. Existing approaches often struggle to generate executable code, primarily due to insufficient background knowledge and the limitations of retrieval-augmented generation (RAG) methods, which fail to capture latent technical details hidden in referenced papers. Furthermore, previous approaches tend to overlook valuable implementation-level code signals and lack structured knowledge representations that support multi-granular retrieval and reuse. To overcome these challenges, we propose Executable Knowledge Graphs (xKG), a modular and pluggable knowledge base that automatically integrates technical insights, code snippets, and domain-specific knowledge extracted from scientific literature. When integrated into three agent frameworks with two different LLMs, xKG shows substantial performance gains (10.9% with o3-mini) on PaperBench, demonstrating its effectiveness as a general and extensible solution for automated AI research replication. Code will released at https://github.com/zjunlp/xKG.

AI 연구 재현을 위한 실행 가능한 지식 그래프

Executable Knowledge Graphs for Replicating AI Research

초록

Support