Máquina de Gödel Darwin: Evolución Abierta de Agentes de Automejora

Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents

May 29, 2025

Autores: Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune

cs.AI

Resumen

Los sistemas de IA actuales tienen arquitecturas fijas diseñadas por humanos y no pueden mejorarse de manera autónoma y continua. El avance de la IA podría automatizarse. Si se hace de manera segura, esto aceleraría el desarrollo de la IA y nos permitiría obtener sus beneficios mucho antes. El metaaprendizaje puede automatizar el descubrimiento de nuevos algoritmos, pero está limitado por mejoras de primer orden y el diseño humano de un espacio de búsqueda adecuado. La máquina de Gödel propuso una alternativa teórica: una IA que se mejora a sí misma modificándose repetidamente de manera demostrablemente beneficiosa. Desafortunadamente, demostrar que la mayoría de los cambios son beneficiosos netos es imposible en la práctica. Introducimos la Máquina de Gödel Darwin (DGM, por sus siglas en inglés), un sistema que se mejora a sí mismo modificando iterativamente su propio código (mejorando así también su capacidad para modificar su base de código) y valida empíricamente cada cambio utilizando puntos de referencia de codificación. Inspirada por la evolución darwiniana y la investigación de apertura sin límites, la DGM mantiene un archivo de agentes de codificación generados. Hace crecer el archivo muestreando un agente de él y utilizando un modelo base para crear una nueva versión interesante del agente muestreado. Esta exploración sin límites forma un árbol en crecimiento de agentes diversos y de alta calidad, permitiendo la exploración paralela de múltiples caminos a través del espacio de búsqueda. Empíricamente, la DGM mejora automáticamente sus capacidades de codificación (por ejemplo, mejores herramientas de edición de código, gestión de ventanas de contexto largo, mecanismos de revisión por pares), aumentando el rendimiento en SWE-bench del 20.0% al 50.0%, y en Polyglot del 14.2% al 30.7%. Además, la DGM supera significativamente a las líneas base sin automejora o exploración sin límites. Todos los experimentos se realizaron con precauciones de seguridad (por ejemplo, aislamiento, supervisión humana). La DGM es un paso significativo hacia una IA que se mejora a sí misma, capaz de recoger sus propios peldaños a lo largo de caminos que se despliegan en una innovación sin fin.

English

Today's AI systems have human-designed, fixed architectures and cannot autonomously and continuously improve themselves. The advance of AI could itself be automated. If done safely, that would accelerate AI development and allow us to reap its benefits much sooner. Meta-learning can automate the discovery of novel algorithms, but is limited by first-order improvements and the human design of a suitable search space. The G\"odel machine proposed a theoretical alternative: a self-improving AI that repeatedly modifies itself in a provably beneficial manner. Unfortunately, proving that most changes are net beneficial is impossible in practice. We introduce the Darwin G\"odel Machine (DGM), a self-improving system that iteratively modifies its own code (thereby also improving its ability to modify its own codebase) and empirically validates each change using coding benchmarks. Inspired by Darwinian evolution and open-endedness research, the DGM maintains an archive of generated coding agents. It grows the archive by sampling an agent from it and using a foundation model to create a new, interesting, version of the sampled agent. This open-ended exploration forms a growing tree of diverse, high-quality agents and allows the parallel exploration of many different paths through the search space. Empirically, the DGM automatically improves its coding capabilities (e.g., better code editing tools, long-context window management, peer-review mechanisms), increasing performance on SWE-bench from 20.0% to 50.0%, and on Polyglot from 14.2% to 30.7%. Furthermore, the DGM significantly outperforms baselines without self-improvement or open-ended exploration. All experiments were done with safety precautions (e.g., sandboxing, human oversight). The DGM is a significant step toward self-improving AI, capable of gathering its own stepping stones along paths that unfold into endless innovation.