一つの命で学ぶ：無指導探索から確率的環境のための記号的世界モデルを推論する

要旨

シンボリックな世界モデリングは、環境の遷移ダイナミクスを実行可能なプログラムとして推論し表現することを必要とする。従来の研究は、主に決定論的な環境に焦点を当てており、豊富なインタラクションデータ、単純なメカニクス、および人間のガイダンスが前提とされていた。本研究では、より現実的で挑戦的な設定、すなわち複雑で確率的な環境において、エージェントが人間のガイダンスなしに敵対的な環境を探索する「一度きりの命」しか持たない状況での学習に取り組む。我々は、確率的プログラミングフレームワーク内で条件付きで活性化されるプログラム的な法則を通じて世界のダイナミクスをモデル化するOneLifeフレームワークを提案する。各法則は、前提条件-効果の構造を通じて動作し、関連する世界の状態で活性化される。これにより、動的な計算グラフが形成され、推論と最適化が関連する法則のみを通じてルーティングされるため、複雑で階層的な状態に関する予測に全ての法則が寄与する際のスケーリング課題を回避し、疎なルール活性化においても確率的ダイナミクスの学習を可能にする。これらの厳しい制約下で我々のアプローチを評価するために、新しい評価プロトコルを導入し、(a)状態ランキング、すなわち妥当な将来の状態と非妥当な状態を区別する能力、および(b)状態忠実度、すなわち現実に近い将来の状態を生成する能力を測定する。我々は、Crafter環境を再実装したCrafter-OO上でフレームワークを開発し評価する。Crafter-OOは、構造化されたオブジェクト指向のシンボリック状態と、その状態のみを操作する純粋な遷移関数を提供する。OneLifeは、最小限のガイダンスなしのインタラクションから主要な環境ダイナミクスを成功裏に学習し、テストされた23のシナリオのうち16において強力なベースラインを上回る性能を示した。また、OneLifeの計画能力をテストし、シミュレーションされたロールアウトが優れた戦略を特定することに成功した。本研究は、未知の複雑な環境に対するプログラム的な世界モデルを自律的に構築するための基盤を確立するものである。

English

Symbolic world modeling requires inferring and representing an environment's transitional dynamics as an executable program. Prior work has focused on largely deterministic environments with abundant interaction data, simple mechanics, and human guidance. We address a more realistic and challenging setting, learning in a complex, stochastic environment where the agent has only "one life" to explore a hostile environment without human guidance. We introduce OneLife, a framework that models world dynamics through conditionally-activated programmatic laws within a probabilistic programming framework. Each law operates through a precondition-effect structure, activating in relevant world states. This creates a dynamic computation graph that routes inference and optimization only through relevant laws, avoiding scaling challenges when all laws contribute to predictions about a complex, hierarchical state, and enabling the learning of stochastic dynamics even with sparse rule activation. To evaluate our approach under these demanding constraints, we introduce a new evaluation protocol that measures (a) state ranking, the ability to distinguish plausible future states from implausible ones, and (b) state fidelity, the ability to generate future states that closely resemble reality. We develop and evaluate our framework on Crafter-OO, our reimplementation of the Crafter environment that exposes a structured, object-oriented symbolic state and a pure transition function that operates on that state alone. OneLife can successfully learn key environment dynamics from minimal, unguided interaction, outperforming a strong baseline on 16 out of 23 scenarios tested. We also test OneLife's planning ability, with simulated rollouts successfully identifying superior strategies. Our work establishes a foundation for autonomously constructing programmatic world models of unknown, complex environments.

一つの命で学ぶ：無指導探索から確率的環境のための記号的世界モデルを推論する

One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration

要旨

Support