ダーウィン・ゲーデルマシン：自己改善エージェントのオープンエンド進化

要旨

今日のAIシステムは、人間が設計した固定のアーキテクチャを持ち、自律的かつ継続的に自己改善を行うことはできません。AIの進歩そのものを自動化することが可能です。安全に行われれば、それはAI開発を加速し、その恩恵をより早く享受できるようになるでしょう。メタ学習は新しいアルゴリズムの発見を自動化できますが、一次的な改善と適切な探索空間の人間による設計に制限されています。ゲーデルマシンは、理論的に自己改善するAIの代替案を提案しました：それは証明可能な有益な方法で繰り返し自身を変更します。しかし、ほとんどの変更が純利益をもたらすことを証明することは、実際には不可能です。我々はダーウィン・ゲーデルマシン（DGM）を紹介します。これは自己改善システムであり、自身のコードを反復的に変更し（それによって自身のコードベースを変更する能力も向上させ）、各変更をコーディングベンチマークを使用して実証的に検証します。ダーウィンの進化論とオープンエンド研究にインスパイアされたDGMは、生成されたコーディングエージェントのアーカイブを維持します。アーカイブからエージェントをサンプリングし、基盤モデルを使用してサンプルされたエージェントの新しい興味深いバージョンを作成することで、アーカイブを拡大します。このオープンエンドな探索は、多様で高品質なエージェントの成長するツリーを形成し、探索空間を通じて多くの異なるパスの並列探索を可能にします。実証的に、DGMは自動的にそのコーディング能力を向上させ（例えば、より良いコード編集ツール、長いコンテキストウィンドウ管理、ピアレビューメカニズム）、SWE-benchでのパフォーマンスを20.0％から50.0％に、Polyglotでは14.2％から30.7％に増加させました。さらに、DGMは自己改善やオープンエンドな探索を行わないベースラインを大幅に上回りました。すべての実験は安全対策（例えば、サンドボックス化、人間の監視）を講じて行われました。DGMは、自己改善するAIに向けた重要な一歩であり、無限のイノベーションへと展開するパスに沿って自身の踏み石を集めることができます。

English

Today's AI systems have human-designed, fixed architectures and cannot autonomously and continuously improve themselves. The advance of AI could itself be automated. If done safely, that would accelerate AI development and allow us to reap its benefits much sooner. Meta-learning can automate the discovery of novel algorithms, but is limited by first-order improvements and the human design of a suitable search space. The G\"odel machine proposed a theoretical alternative: a self-improving AI that repeatedly modifies itself in a provably beneficial manner. Unfortunately, proving that most changes are net beneficial is impossible in practice. We introduce the Darwin G\"odel Machine (DGM), a self-improving system that iteratively modifies its own code (thereby also improving its ability to modify its own codebase) and empirically validates each change using coding benchmarks. Inspired by Darwinian evolution and open-endedness research, the DGM maintains an archive of generated coding agents. It grows the archive by sampling an agent from it and using a foundation model to create a new, interesting, version of the sampled agent. This open-ended exploration forms a growing tree of diverse, high-quality agents and allows the parallel exploration of many different paths through the search space. Empirically, the DGM automatically improves its coding capabilities (e.g., better code editing tools, long-context window management, peer-review mechanisms), increasing performance on SWE-bench from 20.0% to 50.0%, and on Polyglot from 14.2% to 30.7%. Furthermore, the DGM significantly outperforms baselines without self-improvement or open-ended exploration. All experiments were done with safety precautions (e.g., sandboxing, human oversight). The DGM is a significant step toward self-improving AI, capable of gathering its own stepping stones along paths that unfold into endless innovation.

ダーウィン・ゲーデルマシン：自己改善エージェントのオープンエンド進化

Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents

要旨

Support