Sognare in Codice per l'Apprendimento Curricolare in Mondi Aperti
Dreaming in Code for Curriculum Learning in Open-Ended Worlds
February 9, 2026
Autori: Konstantinos Mitsides, Maxence Faldor, Antoine Cully
cs.AI
Abstract
L'apprendimento aperto concepisce l'intelligenza come emergente dall'interazione continua con uno spazio in continua espansione di ambienti. Sebbene i recenti progressi abbiano utilizzato modelli di base per generare programmaticamente ambienti diversificati, questi approcci spesso si concentrano sulla scoperta di comportamenti isolati piuttosto che sull'orchestrazione di una progressione sostenuta. In mondi aperti complessi, il vasto spazio combinatorio di possibili sfide rende difficile per gli agenti scoprire sequenze di esperienze che rimangano costantemente apprendibili. Per affrontare questo problema, proponiamo Dreaming in Code (DiCode), un framework in cui i modelli di base sintetizzano codice eseguibile dell'ambiente per impalcare l'apprendimento verso una competenza crescente. In DiCode, il "sognare" assume la forma di materializzare variazioni a livello di codice del mondo. Istanziamo DiCode in Craftax, un benchmark aperto e impegnativo caratterizzato da meccaniche ricche e progressione a lungo termine. Empiricamente, DiCode consente agli agenti di acquisire abilità a lungo termine, ottenendo un miglioramento del 16% nella media dei ritorni rispetto al baseline più forte e un successo non nullo nelle attività di combattimento tardive in cui i metodi precedenti falliscono. I nostri risultati suggeriscono che la progettazione di ambienti a livello di codice fornisce un meccanismo pratico per il controllo del curriculum, consentendo la costruzione di ambienti intermedi che colmano i divari di competenza nei mondi aperti. La pagina del progetto e il codice sorgente sono disponibili su https://konstantinosmitsides.github.io/dreaming-in-code e https://github.com/konstantinosmitsides/dreaming-in-code.
English
Open-ended learning frames intelligence as emerging from continual interaction with an ever-expanding space of environments. While recent advances have utilized foundation models to programmatically generate diverse environments, these approaches often focus on discovering isolated behaviors rather than orchestrating sustained progression. In complex open-ended worlds, the large combinatorial space of possible challenges makes it difficult for agents to discover sequences of experiences that remain consistently learnable. To address this, we propose Dreaming in Code (DiCode), a framework in which foundation models synthesize executable environment code to scaffold learning toward increasing competence. In DiCode, "dreaming" takes the form of materializing code-level variations of the world. We instantiate DiCode in Craftax, a challenging open-ended benchmark characterized by rich mechanics and long-horizon progression. Empirically, DiCode enables agents to acquire long-horizon skills, achieving a 16% improvement in mean return over the strongest baseline and non-zero success on late-game combat tasks where prior methods fail. Our results suggest that code-level environment design provides a practical mechanism for curriculum control, enabling the construction of intermediate environments that bridge competence gaps in open-ended worlds. Project page and source code are available at https://konstantinosmitsides.github.io/dreaming-in-code and https://github.com/konstantinosmitsides/dreaming-in-code.