Одна жизнь для обучения: вывод символических моделей мира для стохастических сред на основе самостоятельного исследования

One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration

October 14, 2025

Авторы: Zaid Khan, Archiki Prasad, Elias Stengel-Eskin, Jaemin Cho, Mohit Bansal

cs.AI

Аннотация

Символическое моделирование мира требует вывода и представления переходной динамики среды в виде исполняемой программы. Предыдущие работы в основном фокусировались на детерминированных средах с обилием данных взаимодействия, простой механикой и человеческим руководством. Мы рассматриваем более реалистичный и сложный сценарий: обучение в сложной стохастической среде, где агент имеет только "одну жизнь" для исследования враждебной среды без человеческого руководства. Мы представляем OneLife — фреймворк, который моделирует динамику мира через условно активируемые программные законы в рамках вероятностного программирования. Каждый закон работает по принципу "предусловие-эффект", активируясь в соответствующих состояниях мира. Это создает динамический вычислительный граф, который направляет вывод и оптимизацию только через релевантные законы, избегая проблем масштабирования, когда все законы участвуют в предсказаниях сложного иерархического состояния, и позволяя изучать стохастическую динамику даже при редкой активации правил. Для оценки нашего подхода в этих сложных условиях мы вводим новый протокол оценки, который измеряет (а) ранжирование состояний — способность отличать правдоподобные будущие состояния от неправдоподобных, и (б) точность состояний — способность генерировать будущие состояния, близкие к реальности. Мы разрабатываем и оцениваем наш фреймворк на Crafter-OO, нашей переработанной версии среды Crafter, которая предоставляет структурированное объектно-ориентированное символическое состояние и чистую функцию перехода, работающую только с этим состоянием. OneLife успешно изучает ключевые динамики среды при минимальном, ненаправленном взаимодействии, превосходя сильный базовый подход в 16 из 23 протестированных сценариев. Мы также тестируем способность OneLife к планированию, где симуляции успешно выявляют превосходящие стратегии. Наша работа закладывает основу для автономного построения программных моделей мира неизвестных сложных сред.

English

Symbolic world modeling requires inferring and representing an environment's transitional dynamics as an executable program. Prior work has focused on largely deterministic environments with abundant interaction data, simple mechanics, and human guidance. We address a more realistic and challenging setting, learning in a complex, stochastic environment where the agent has only "one life" to explore a hostile environment without human guidance. We introduce OneLife, a framework that models world dynamics through conditionally-activated programmatic laws within a probabilistic programming framework. Each law operates through a precondition-effect structure, activating in relevant world states. This creates a dynamic computation graph that routes inference and optimization only through relevant laws, avoiding scaling challenges when all laws contribute to predictions about a complex, hierarchical state, and enabling the learning of stochastic dynamics even with sparse rule activation. To evaluate our approach under these demanding constraints, we introduce a new evaluation protocol that measures (a) state ranking, the ability to distinguish plausible future states from implausible ones, and (b) state fidelity, the ability to generate future states that closely resemble reality. We develop and evaluate our framework on Crafter-OO, our reimplementation of the Crafter environment that exposes a structured, object-oriented symbolic state and a pure transition function that operates on that state alone. OneLife can successfully learn key environment dynamics from minimal, unguided interaction, outperforming a strong baseline on 16 out of 23 scenarios tested. We also test OneLife's planning ability, with simulated rollouts successfully identifying superior strategies. Our work establishes a foundation for autonomously constructing programmatic world models of unknown, complex environments.