プログラマブル世界モデル

要旨

近年の動画世界モデルは、ますますリアルでインタラクティブな視覚体験を生成しているが、長期的なインタラクションを通じて永続的な世界状態を維持し、プログラム可能な規則を強制するための信頼できる機構を欠いている。我々は、世界状態の進化を視覚観測の生成から分離する枠組みであるProgrammable World Modelを導入する。エージェントは自然言語指示を実行可能なプログラムへと変換し、そのプログラムはエンティティの状態と状態遷移規則を指定することで、個々のエンティティとその相互作用を直接制御できるようにする。軽量エンジンがこれらのプログラムを実行し、画面外のエンティティや非視覚的属性を含む、明示的で永続的なグローバル世界状態を更新・維持する。世界状態と視覚生成を接続するために、我々は状態拡張3D有向バウンディングボックス（OBB）を中間表現として導入する。この表現は目標カメラ軌跡とともに、生成的レンダラーとして機能する事前学習済み動画モデルに対する、ピクセル整列された時空間条件付け信号へと決定論的にコンパイルされる。この設計により、ユーザーは事前定義されたメカニクスを備えたプレイ可能なゲームを作成し、個々のエンティティを直接制御し、ゲームプレイを通じて永続的な世界状態を維持できる。さらに我々は、プログラム可能な世界モデルを評価するためのベンチマークであるCombatStateBenchを導入する。CombatStateBenchにおいて、本手法は94%のカウント精度と98%の状態精度を達成し、既存のインタラクティブ動画世界モデルを大幅に上回るとともに、一貫した長期的生成を可能にする。これらの結果は、永続的でプログラム可能な世界を構築するために、明示的な状態進化を生成的レンダリングから分離することの有効性を示している。

English

Recent video world models generate increasingly realistic and interactive visual experiences, yet lack reliable mechanisms for maintaining persistent world state and enforcing programmable rules over extended interactions. We introduce Programmable World Model, a framework that decouples world-state evolution from visual observation generation. An agent translates natural-language instructions into executable programs that specify entity states and state-transition rules, enabling direct control over individual entities and their interactions. A lightweight engine executes these programs to update and maintain an explicit, persistent global world state, including off-screen entities and non-visual attributes. To connect world state with visual generation, we introduce state-augmented 3D oriented bounding boxes (OBBs) as an intermediate representation. This representation, together with the target camera trajectory, is deterministically compiled into pixel-aligned spatiotemporal conditioning signals for a pretrained video model serving as the generative renderer. This design allows users to create playable games with predefined mechanics, direct control over individual entities, and persistent world state throughout gameplay. We further introduce CombatStateBench, a benchmark for evaluating programmable world models. On CombatStateBench, our method achieves 94% Count Accuracy and 98% State Accuracy, substantially outperforming existing interactive video world models while supporting coherent long-horizon generation. These results demonstrate the effectiveness of separating explicit state evolution from generative rendering for building persistent, programmable worlds.