Soñar en código para el aprendizaje curricular en mundos abiertos
Dreaming in Code for Curriculum Learning in Open-Ended Worlds
February 9, 2026
Autores: Konstantinos Mitsides, Maxence Faldor, Antoine Cully
cs.AI
Resumen
El aprendizaje de mundo abierto enmarca la inteligencia como un fenómeno emergente de la interacción continua con un espacio en constante expansión de entornos. Si bien avances recientes han utilizado modelos de base para generar entornos diversos de manera programática, estos enfoques a menudo se centran en descubrir comportamientos aislados en lugar de orquestar una progresión sostenida. En mundos abiertos complejos, el gran espacio combinatorio de desafíos posibles dificulta que los agentes descubran secuencias de experiencias que se mantengan consistentemente aprendibles. Para abordar esto, proponemos Soñar en Código (DiCode), un marco en el que los modelos de base sintetizan código ejecutable de entornos para andamiar el aprendizaje hacia una competencia creciente. En DiCode, "soñar" toma la forma de materializar variaciones del mundo a nivel de código. Instanciamos DiCode en Craftax, un benchmark desafiante de mundo abierto caracterizado por una mecánica rica y una progresión de largo horizonte. Empíricamente, DiCode permite a los agentes adquirir habilidades de largo horizonte, logrando una mejora del 16% en la recompensa media sobre el baseline más fuerte y un éxito no nulo en tareas de combate de etapas tardías donde los métodos anteriores fallan. Nuestros resultados sugieren que el diseño de entornos a nivel de código proporciona un mecanismo práctico para el control curricular, permitiendo la construcción de entornos intermedios que salvan las brechas de competencia en mundos abiertos. La página del proyecto y el código fuente están disponibles en https://konstantinosmitsides.github.io/dreaming-in-code y https://github.com/konstantinosmitsides/dreaming-in-code.
English
Open-ended learning frames intelligence as emerging from continual interaction with an ever-expanding space of environments. While recent advances have utilized foundation models to programmatically generate diverse environments, these approaches often focus on discovering isolated behaviors rather than orchestrating sustained progression. In complex open-ended worlds, the large combinatorial space of possible challenges makes it difficult for agents to discover sequences of experiences that remain consistently learnable. To address this, we propose Dreaming in Code (DiCode), a framework in which foundation models synthesize executable environment code to scaffold learning toward increasing competence. In DiCode, "dreaming" takes the form of materializing code-level variations of the world. We instantiate DiCode in Craftax, a challenging open-ended benchmark characterized by rich mechanics and long-horizon progression. Empirically, DiCode enables agents to acquire long-horizon skills, achieving a 16% improvement in mean return over the strongest baseline and non-zero success on late-game combat tasks where prior methods fail. Our results suggest that code-level environment design provides a practical mechanism for curriculum control, enabling the construction of intermediate environments that bridge competence gaps in open-ended worlds. Project page and source code are available at https://konstantinosmitsides.github.io/dreaming-in-code and https://github.com/konstantinosmitsides/dreaming-in-code.