DarwinX: 自然淘汰によるエージェント・ハーネスの進化

要旨

LLMエージェントの能力は、モデルの重みだけでなく、そのハーネス（プロンプト、ツール、スキル、制御フロー）に依存する。自己改善ループはすでにハーネスを編集しているが、単一系統の探索は経路依存的であり、局所的な改善が他のタスクを後退させることが多い。我々は、モデルを凍結したまま、ハーネスの集団に対する選択として自己進化を扱うDarwinXを提案する。保持・拡張契約は、カバレッジを拡張し後退させない変種のみを許可し、アーカイブは再結合のための代替系統を保持し、失敗由来、教師由来、自己由来の証拠は共通の編集インターフェースを共有する。適応度は各ベンチマーク自身の検証器から得られる。ゴールドソリューションも、人手で選ばれた勝者も存在しない。進化シグナルをテストから段階的に分離する4つのベンチマークすべてにわたって、このループは平均で約17ポイントの向上をもたらす。Terminal-Bench 2.1は、マッチしたベースモデルでは+7.7で83.2%へ上昇し、より強力なベースモデルでは検証済みフロンティアである84.7%に到達する。TerminalWorldのホールドアウト分割は68.3%に達し、すべての既製エージェントを上回る。WebArena-Infinityの実タスクpass@1は、監査クリーンで43.5%から93.0%へ上昇する。また、Terminal-Bench 2.1のハーネスは変更なしでSWE-bench Verifiedに転移する。進化するのはベンチマーク固有のパッチではなく、エージェントの一般的な能力であり、それゆえタスク、検証器、ベースモデルの変更を生き残る。凍結されたモデルは固定されたエージェントである必要はない。ハーネスの選択が評価計算を永続的な能力に変えるのだ。

English

An LLM agent's capability depends not only on model weights but on its harness: prompts, tools, skills, and control flow. Self-improvement loops already edit harnesses, yet single-lineage search is path-dependent and local wins often regress other tasks. We introduce DarwinX, which treats self-evolution as selection over a population of harnesses with the model frozen: a preserve-and-extend contract admits only variants that extend coverage without regressing, an archive keeps alternative lineages for recombination, and failure-, teacher-, and self-derived evidence share one edit interface. Fitness comes from each benchmark's own verifier: no gold solutions, no hand-picked winners. Across four benchmarks that progressively separate the evolution signal from the test, one loop adds about 17 points on average: Terminal-Bench 2.1 rises +7.7 to 83.2% on a matched base and to the verified frontier at 84.7% on a stronger one; TerminalWorld's held-out split reaches 68.3%, ahead of every off-the-shelf agent; WebArena-Infinity real-task pass@1 rises from 43.5% to 93.0% audit-clean; and a Terminal-Bench 2.1 harness transfers unchanged to SWE-bench Verified. What evolves is general agent competence, not benchmark-specific patches, so it survives changes of task, verifier, and base model. A frozen model need not be a fixed agent: harness selection turns evaluation compute into durable capability.