Darwin Godel Machine: Evoluzione Aperta di Agenti Auto-Miglioranti

Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents

May 29, 2025

Autori: Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune

cs.AI

Abstract

I sistemi di IA odierni hanno architetture fisse progettate dall'uomo e non possono migliorarsi in modo autonomo e continuo. L'avanzamento dell'IA potrebbe essere automatizzato. Se fatto in sicurezza, ciò accelererebbe lo sviluppo dell'IA e ci permetterebbe di raccoglierne i benefici molto prima. Il meta-apprendimento può automatizzare la scoperta di nuovi algoritmi, ma è limitato da miglioramenti di primo ordine e dalla progettazione umana di uno spazio di ricerca adeguato. La macchina di Gödel ha proposto un'alternativa teorica: un'IA auto-migliorante che modifica se stessa ripetutamente in modo dimostrabilmente vantaggioso. Sfortunatamente, dimostrare che la maggior parte delle modifiche sia complessivamente benefica è impossibile nella pratica. Introduciamo la Darwin Gödel Machine (DGM), un sistema auto-migliorante che modifica iterativamente il proprio codice (migliorando così anche la sua capacità di modificare la propria base di codice) e convalida empiricamente ogni cambiamento utilizzando benchmark di codifica. Ispirata dall'evoluzione darwiniana e dalla ricerca sull'apertura, la DGM mantiene un archivio di agenti di codifica generati. Cresce l'archivio campionando un agente da esso e utilizzando un modello di base per creare una nuova versione interessante dell'agente campionato. Questa esplorazione aperta forma un albero in crescita di agenti diversi e di alta qualità e permette l'esplorazione parallela di molti percorsi diversi attraverso lo spazio di ricerca. Empiricamente, la DGM migliora automaticamente le sue capacità di codifica (ad esempio, strumenti di editing del codice migliori, gestione di finestre di contesto lunghe, meccanismi di peer-review), aumentando le prestazioni su SWE-bench dal 20,0% al 50,0%, e su Polyglot dal 14,2% al 30,7%. Inoltre, la DGM supera significativamente i baseline senza auto-miglioramento o esplorazione aperta. Tutti gli esperimenti sono stati condotti con precauzioni di sicurezza (ad esempio, sandboxing, supervisione umana). La DGM rappresenta un passo significativo verso un'IA auto-migliorante, capace di raccogliere i propri mattoni lungo percorsi che si dispiegano in un'innovazione senza fine.

English

Today's AI systems have human-designed, fixed architectures and cannot autonomously and continuously improve themselves. The advance of AI could itself be automated. If done safely, that would accelerate AI development and allow us to reap its benefits much sooner. Meta-learning can automate the discovery of novel algorithms, but is limited by first-order improvements and the human design of a suitable search space. The G\"odel machine proposed a theoretical alternative: a self-improving AI that repeatedly modifies itself in a provably beneficial manner. Unfortunately, proving that most changes are net beneficial is impossible in practice. We introduce the Darwin G\"odel Machine (DGM), a self-improving system that iteratively modifies its own code (thereby also improving its ability to modify its own codebase) and empirically validates each change using coding benchmarks. Inspired by Darwinian evolution and open-endedness research, the DGM maintains an archive of generated coding agents. It grows the archive by sampling an agent from it and using a foundation model to create a new, interesting, version of the sampled agent. This open-ended exploration forms a growing tree of diverse, high-quality agents and allows the parallel exploration of many different paths through the search space. Empirically, the DGM automatically improves its coding capabilities (e.g., better code editing tools, long-context window management, peer-review mechanisms), increasing performance on SWE-bench from 20.0% to 50.0%, and on Polyglot from 14.2% to 30.7%. Furthermore, the DGM significantly outperforms baselines without self-improvement or open-ended exploration. All experiments were done with safety precautions (e.g., sandboxing, human oversight). The DGM is a significant step toward self-improving AI, capable of gathering its own stepping stones along paths that unfold into endless innovation.