Repo-To-Skill: GitHub 저장소를 AI4AI 스킬로 증류하기

초록

자율 에이전트가 머신러닝(ML) 연구를 처음부터 끝까지(end-to-end) 수행하기 시작하고 있다. 이들 에이전트는 모델 백본과 계획·실행·메모리·검증을 위한 하네스를 결합하지만, 그러한 구조는 여전히 도메인 특화 노하우를 에이전트 바깥에 남겨 둔다. 우리는 여기서 누락된 계층을 운영 지식(operational knowledge)이라 부르는데, 이는 어떤 방법을 안다는 것과 그 방법을 실제로 작동시킨다는 것을 구분 짓는 노하우를 뜻한다. 그런 지식이 해당 분야에 아예 없는 것은 아니다. 저장소와 논문에는 존재하지만, 인간 독자를 위해 쓰인 형태일 뿐 아니라 작업 도중 로드하기에는 너무 방대하다. 일단 간결하고 검증된 스킬로 증류되고 나면, 이 지식은 매 실행 때마다 재발견하는 대신 여러 작업에 걸쳐 재사용될 수 있다. 이 글에서 우리는 연구 중에 스킬을 생성하고 이를 연구에 활용하는 스킬 기반 연구 에이전트 DisCo를 제시한다. DisCo의 증류는 서로 보완적인 두 가지 형태로 진행된다. 작업 무관(task-agnostic) 증류는 해당 분야에서 널리 쓰이는 저장소들을 재사용 가능한 스킬로 압축하고, 작업 지향(task-oriented) 증류는 구체적인 작업이 요구하는 스킬을 생성한다. 전자를 개방형 생태계 전반에 적용하면 AREX-Skill Library가 산출된다. 이 라이브러리는 널리 쓰이는 1,000개 ML 저장소에서 증류한 5,000개 이상의 검증된 스킬로 구성되며, 20개 영역과 178개 역량군으로 정리된다. GPT-5.5 백본, 연구 하네스, 다운스트림 실행 예산을 모두 고정한 채, 스킬을 갖춘 연구 에이전트는 스킬이 없는 동일 에이전트보다 MLE-bench에서 134.3%, PaperBench에서 34.4%, FrontierCS에서 9.2%, PassNet에서 14.0% 더 높은 점수를 기록했다. 이러한 향상은 고정된 설정 아래에서 증류된 운영 컨텍스트를 추가함으로써 얻어졌다.

English

Autonomous agents are beginning to carry out machine-learning (ML) research end to end. These agents combine a model backbone with a harness for planning, execution, memory, and verification, but this architecture still leaves domain-specific know-how outside the agent. We call this missing layer operational knowledge, the know-how that separates knowing a method from making it work. That knowledge is not absent from the field. It appears in repositories and papers, but in forms written for human readers and too large to load during a task. Once distilled into compact, verified skills, this knowledge can be reused across tasks rather than rediscovered during each run. We present DisCo, a skill-powered research agent that creates skills and uses them during research. Its distillation runs in two complementary forms: task-agnostic, condensing the field's widely used repositories into reusable skills, and task-oriented, producing the skills a concrete task calls for. The former, applied across the open ecosystem, yields the AREX-Skill Library, with 5,000+ verified skills distilled from 1,000 widely used ML repositories and organized into 20 areas and 178 capability families. With the GPT-5.5 backbone, research harness, and downstream execution budget held fixed, the skill-equipped research agent scores 134.3% higher on MLE-bench, 34.4% higher on PaperBench, 9.2% higher on FrontierCS, and 14.0% higher on PassNet than the same agent without skills. These gains come from adding distilled operating context under that fixed setup.