Una Vida para Aprender: Inferencia de Modelos Simbólicos del Mundo para Entornos Estocásticos a partir de Exploración No Guiada

One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration

October 14, 2025

Autores: Zaid Khan, Archiki Prasad, Elias Stengel-Eskin, Jaemin Cho, Mohit Bansal

cs.AI

Resumen

La modelización simbólica del mundo requiere inferir y representar las dinámicas transicionales de un entorno como un programa ejecutable. Trabajos previos se han centrado en entornos mayormente deterministas con abundantes datos de interacción, mecánicas simples y guía humana. Nosotros abordamos un escenario más realista y desafiante: el aprendizaje en un entorno complejo y estocástico donde el agente tiene solo "una vida" para explorar un entorno hostil sin guía humana. Presentamos OneLife, un marco que modela las dinámicas del mundo mediante leyes programáticas activadas condicionalmente dentro de un marco de programación probabilística. Cada ley opera a través de una estructura de precondición-efecto, activándose en estados del mundo relevantes. Esto crea un gráfico de cálculo dinámico que dirige la inferencia y la optimización solo a través de leyes relevantes, evitando problemas de escalabilidad cuando todas las leyes contribuyen a predicciones sobre un estado complejo y jerárquico, y permitiendo el aprendizaje de dinámicas estocásticas incluso con una activación escasa de reglas. Para evaluar nuestro enfoque bajo estas demandantes restricciones, introducimos un nuevo protocolo de evaluación que mide (a) la clasificación de estados, la capacidad de distinguir estados futuros plausibles de los implausibles, y (b) la fidelidad de estados, la capacidad de generar estados futuros que se asemejen estrechamente a la realidad. Desarrollamos y evaluamos nuestro marco en Crafter-OO, nuestra reimplementación del entorno Crafter que expone un estado simbólico estructurado y orientado a objetos, y una función de transición pura que opera únicamente sobre ese estado. OneLife puede aprender con éxito dinámicas clave del entorno a partir de una interacción mínima y no guiada, superando a una línea base sólida en 16 de los 23 escenarios probados. También evaluamos la capacidad de planificación de OneLife, con simulaciones que identifican con éxito estrategias superiores. Nuestro trabajo establece una base para la construcción autónoma de modelos programáticos del mundo en entornos desconocidos y complejos.

English

Symbolic world modeling requires inferring and representing an environment's transitional dynamics as an executable program. Prior work has focused on largely deterministic environments with abundant interaction data, simple mechanics, and human guidance. We address a more realistic and challenging setting, learning in a complex, stochastic environment where the agent has only "one life" to explore a hostile environment without human guidance. We introduce OneLife, a framework that models world dynamics through conditionally-activated programmatic laws within a probabilistic programming framework. Each law operates through a precondition-effect structure, activating in relevant world states. This creates a dynamic computation graph that routes inference and optimization only through relevant laws, avoiding scaling challenges when all laws contribute to predictions about a complex, hierarchical state, and enabling the learning of stochastic dynamics even with sparse rule activation. To evaluate our approach under these demanding constraints, we introduce a new evaluation protocol that measures (a) state ranking, the ability to distinguish plausible future states from implausible ones, and (b) state fidelity, the ability to generate future states that closely resemble reality. We develop and evaluate our framework on Crafter-OO, our reimplementation of the Crafter environment that exposes a structured, object-oriented symbolic state and a pure transition function that operates on that state alone. OneLife can successfully learn key environment dynamics from minimal, unguided interaction, outperforming a strong baseline on 16 out of 23 scenarios tested. We also test OneLife's planning ability, with simulated rollouts successfully identifying superior strategies. Our work establishes a foundation for autonomously constructing programmatic world models of unknown, complex environments.