Une vie pour apprendre : Inférer des modèles symboliques du monde pour des environnements stochastiques à partir d'une exploration non guidée

One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration

October 14, 2025

papers.authors: Zaid Khan, Archiki Prasad, Elias Stengel-Eskin, Jaemin Cho, Mohit Bansal

cs.AI

papers.abstract

La modélisation symbolique du monde nécessite d'inférer et de représenter les dynamiques transitionnelles d'un environnement sous la forme d'un programme exécutable. Les travaux antérieurs se sont principalement concentrés sur des environnements largement déterministes, riches en données d'interaction, dotés de mécaniques simples et guidés par l'humain. Nous abordons un cadre plus réaliste et exigeant, où l'apprentissage se déroule dans un environnement complexe et stochastique, où l'agent n'a qu'« une seule vie » pour explorer un environnement hostile sans guidance humaine. Nous présentons OneLife, un cadre qui modélise les dynamiques du monde à travers des lois programmatiques conditionnellement activées au sein d'un cadre de programmation probabiliste. Chaque loi fonctionne selon une structure précondition-effet, s'activant dans les états du monde pertinents. Cela crée un graphe de calcul dynamique qui oriente l'inférence et l'optimisation uniquement à travers les lois pertinentes, évitant les défis de mise à l'échelle lorsque toutes les lois contribuent aux prédictions concernant un état complexe et hiérarchique, et permettant l'apprentissage de dynamiques stochastiques même avec une activation sporadique des règles. Pour évaluer notre approche sous ces contraintes rigoureuses, nous introduisons un nouveau protocole d'évaluation qui mesure (a) le classement des états, c'est-à-dire la capacité à distinguer les états futurs plausibles des états improbables, et (b) la fidélité des états, c'est-à-dire la capacité à générer des états futurs qui ressemblent étroitement à la réalité. Nous développons et évaluons notre cadre sur Crafter-OO, notre réimplémentation de l'environnement Crafter qui expose un état symbolique structuré et orienté objet ainsi qu'une fonction de transition pure opérant uniquement sur cet état. OneLife parvient à apprendre avec succès les dynamiques clés de l'environnement à partir d'interactions minimales et non guidées, surpassant une base de référence solide dans 16 des 23 scénarios testés. Nous testons également la capacité de planification de OneLife, avec des simulations qui identifient avec succès des stratégies supérieures. Notre travail établit une base pour la construction autonome de modèles programmatiques du monde dans des environnements inconnus et complexes.

English

Symbolic world modeling requires inferring and representing an environment's transitional dynamics as an executable program. Prior work has focused on largely deterministic environments with abundant interaction data, simple mechanics, and human guidance. We address a more realistic and challenging setting, learning in a complex, stochastic environment where the agent has only "one life" to explore a hostile environment without human guidance. We introduce OneLife, a framework that models world dynamics through conditionally-activated programmatic laws within a probabilistic programming framework. Each law operates through a precondition-effect structure, activating in relevant world states. This creates a dynamic computation graph that routes inference and optimization only through relevant laws, avoiding scaling challenges when all laws contribute to predictions about a complex, hierarchical state, and enabling the learning of stochastic dynamics even with sparse rule activation. To evaluate our approach under these demanding constraints, we introduce a new evaluation protocol that measures (a) state ranking, the ability to distinguish plausible future states from implausible ones, and (b) state fidelity, the ability to generate future states that closely resemble reality. We develop and evaluate our framework on Crafter-OO, our reimplementation of the Crafter environment that exposes a structured, object-oriented symbolic state and a pure transition function that operates on that state alone. OneLife can successfully learn key environment dynamics from minimal, unguided interaction, outperforming a strong baseline on 16 out of 23 scenarios tested. We also test OneLife's planning ability, with simulated rollouts successfully identifying superior strategies. Our work establishes a foundation for autonomously constructing programmatic world models of unknown, complex environments.