Uma Vida para Aprender: Inferindo Modelos Simbólicos do Mundo para Ambientes Estocásticos a partir de Exploração Não Guiada

One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration

October 14, 2025

Autores: Zaid Khan, Archiki Prasad, Elias Stengel-Eskin, Jaemin Cho, Mohit Bansal

cs.AI

Resumo

A modelagem simbólica de mundos requer inferir e representar a dinâmica de transição de um ambiente como um programa executável. Trabalhos anteriores focaram principalmente em ambientes amplamente determinísticos, com abundância de dados de interação, mecânicas simples e orientação humana. Nós abordamos um cenário mais realista e desafiador: aprender em um ambiente complexo e estocástico onde o agente tem apenas "uma vida" para explorar um ambiente hostil sem orientação humana. Apresentamos o OneLife, um framework que modela a dinâmica do mundo por meio de leis programáticas ativadas condicionalmente dentro de um framework de programação probabilística. Cada lei opera através de uma estrutura de pré-condição-efeito, ativando-se em estados relevantes do mundo. Isso cria um grafo de computação dinâmico que direciona a inferência e a otimização apenas por meio das leis relevantes, evitando desafios de escalabilidade quando todas as leis contribuem para previsões sobre um estado complexo e hierárquico, e permitindo a aprendizagem de dinâmicas estocásticas mesmo com ativação esparsa de regras. Para avaliar nossa abordagem sob essas restrições exigentes, introduzimos um novo protocolo de avaliação que mede (a) a classificação de estados, a capacidade de distinguir estados futuros plausíveis de implausíveis, e (b) a fidelidade de estados, a capacidade de gerar estados futuros que se assemelham de perto à realidade. Desenvolvemos e avaliamos nosso framework no Crafter-OO, nossa reimplementação do ambiente Crafter que expõe um estado simbólico estruturado e orientado a objetos e uma função de transição pura que opera apenas nesse estado. O OneLife consegue aprender com sucesso as principais dinâmicas do ambiente a partir de interações mínimas e não guiadas, superando uma linha de base forte em 16 dos 23 cenários testados. Também testamos a capacidade de planejamento do OneLife, com simulações de rollouts identificando com sucesso estratégias superiores. Nosso trabalho estabelece uma base para a construção autônoma de modelos programáticos de mundos desconhecidos e complexos.

English

Symbolic world modeling requires inferring and representing an environment's transitional dynamics as an executable program. Prior work has focused on largely deterministic environments with abundant interaction data, simple mechanics, and human guidance. We address a more realistic and challenging setting, learning in a complex, stochastic environment where the agent has only "one life" to explore a hostile environment without human guidance. We introduce OneLife, a framework that models world dynamics through conditionally-activated programmatic laws within a probabilistic programming framework. Each law operates through a precondition-effect structure, activating in relevant world states. This creates a dynamic computation graph that routes inference and optimization only through relevant laws, avoiding scaling challenges when all laws contribute to predictions about a complex, hierarchical state, and enabling the learning of stochastic dynamics even with sparse rule activation. To evaluate our approach under these demanding constraints, we introduce a new evaluation protocol that measures (a) state ranking, the ability to distinguish plausible future states from implausible ones, and (b) state fidelity, the ability to generate future states that closely resemble reality. We develop and evaluate our framework on Crafter-OO, our reimplementation of the Crafter environment that exposes a structured, object-oriented symbolic state and a pure transition function that operates on that state alone. OneLife can successfully learn key environment dynamics from minimal, unguided interaction, outperforming a strong baseline on 16 out of 23 scenarios tested. We also test OneLife's planning ability, with simulated rollouts successfully identifying superior strategies. Our work establishes a foundation for autonomously constructing programmatic world models of unknown, complex environments.