DarwinX: 자연 선택을 통한 에이전트 하네스 진화

초록

LLM 에이전트의 능력은 모델 가중치뿐만 아니라 하네스(프롬프트, 도구, 스킬, 제어 흐름)에 의존한다. 자기 개선 루프는 이미 하네스를 편집하지만, 단일 계통 탐색은 경로 의존적이며 국부적 개선이 다른 작업의 성능을 퇴보시키는 경우가 많다. 우리는 모델을 고정한 채 하네스 개체군에 대한 선택으로 자기 진화를 다루는 DarwinX를 소개한다. 유지-확장 계약은 성능 퇴보 없이 커버리지를 확장하는 변이만 수용하며, 아카이브는 재조합을 위한 대체 계통을 보존하고, 실패, 교사, 자기로부터 비롯된 증거는 하나의 편집 인터페이스를 공유한다. 적합도는 각 벤치마크 자체의 검증기에서 나온다. 정답 솔루션도, 수동으로 선별된 우승자도 없다. 진화 신호를 테스트에서 점진적으로 분리하는 네 개의 벤치마크에 걸쳐, 한 번의 루프는 평균 약 17포인트를 더한다. Terminal-Bench 2.1은 일치하는 베이스 모델에서 +7.7포인트 상승한 83.2%, 더 강력한 모델에서는 검증된 최고 수준인 84.7%에 도달한다. TerminalWorld의 홀드아웃 분할은 68.3%로 모든 기성 에이전트를 앞선다. WebArena-Infinity의 실제 작업 pass@1은 43.5%에서 감사 무결 93.0%로 상승한다. 그리고 Terminal-Bench 2.1 하네스는 변경 없이 SWE-bench Verified로 전이된다. 진화하는 것은 벤치마크 특화 패치가 아니라 일반적인 에이전트 역량이므로, 이는 작업, 검증기, 베이스 모델의 변화에도 살아남는다. 고정된 모델이 고정된 에이전트일 필요는 없다. 하네스 선택은 평가 컴퓨팅을 지속 가능한 능력으로 전환한다.

English

An LLM agent's capability depends not only on model weights but on its harness: prompts, tools, skills, and control flow. Self-improvement loops already edit harnesses, yet single-lineage search is path-dependent and local wins often regress other tasks. We introduce DarwinX, which treats self-evolution as selection over a population of harnesses with the model frozen: a preserve-and-extend contract admits only variants that extend coverage without regressing, an archive keeps alternative lineages for recombination, and failure-, teacher-, and self-derived evidence share one edit interface. Fitness comes from each benchmark's own verifier: no gold solutions, no hand-picked winners. Across four benchmarks that progressively separate the evolution signal from the test, one loop adds about 17 points on average: Terminal-Bench 2.1 rises +7.7 to 83.2% on a matched base and to the verified frontier at 84.7% on a stronger one; TerminalWorld's held-out split reaches 68.3%, ahead of every off-the-shelf agent; WebArena-Infinity real-task pass@1 rises from 43.5% to 93.0% audit-clean; and a Terminal-Bench 2.1 harness transfers unchanged to SWE-bench Verified. What evolves is general agent competence, not benchmark-specific patches, so it survives changes of task, verifier, and base model. A frozen model need not be a fixed agent: harness selection turns evaluation compute into durable capability.