Marionette：世界状態の予測、ジオメトリのレンダリング、外観のペインティング

要旨

対話型ゲームの世界モデルは通常、視覚的観測をピクセル空間または潜在空間で直接自己回帰するため、姿勢、幾何、遮蔽といった構造化された性質を、同じ生成系列によって暗黙的に維持しなければならない。長期的な時間範囲にわたって、これらの潜在的な世界特性の誤差は蓄積し、一貫性と制御可能性を脆弱にする。我々は、進化する世界状態を明示的にモデル化し、正確な幾何計算を固定されたゼロパラメータのレンダラーに委任し、ニューラルモデルには外観の合成のみを担わせる。我々はこのアイデアを、関節付きキャラクターを持つ対話型ゲームのための世界モデルであるMarionetteとして具体化する。第一に、2段階の自己回帰ダイナミクスモデルが、複数エンティティの関節付きスケルトン、メートル単位のルート軌跡、および回転からなる、明示的かつ解釈可能な276次元の3D世界状態を予測する。第二に、ゼロパラメータのグラフィックスブリッジが、予測状態をポーズ制御ビデオに変換し、ワールド空間の幾何と遮蔽を閉形式で計算する。第三に、制御条件付きビデオ拡散観測モデルが、得られた構造化制御からフォトリアリスティックなRGB観測を合成する。我々の実験は、Marionetteの2つの特性を実証する。第一に、予測された世界状態は直接制御可能である。不一致の行動ストリームを強制すると、48の保留セグメント全体でルート位置合わせ後の関節誤差が31%変化する。第二に、長期的な行動は状態において決定され、その状態上で修復可能である。自由に放置すると、生成された2体のキャラクターは21.2mまで離れてしまい（記録されたセッションでは約5mに留まる）、フレームの3分の1で地面貫通が見られる。明示的な状態に課された2つのルール、すなわち地形コライダーと分離上限は、貫通を66%削減し、ペアが互いに関わり合う状態を維持する。観測モデルへの変更は一切ない。予測状態を経由した外観の生成は、検出可能な忠実度の低下を伴わない（FVDは831であり、記録されたポーズの799に対するものである）。

English

Interactive game world models typically autoregress visual observations directly in pixel or latent space, forcing structured properties such as pose, geometry, and occlusion to be implicitly maintained by the same generative sequence. Over long horizons, errors in these latent world properties accumulate, making consistency and controllability fragile. We explicitly model the evolving world state, delegate exact geometric computation to a fixed, zero-parameter renderer, and leave the neural model to synthesize appearance. We instantiate this idea as Marionette, a world model for interactive games with articulated characters. First, a two-stage autoregressive dynamics model predicts an explicit and interpretable 276-dimensional 3D world state comprising multi-entity articulated skeletons, metric root trajectories, and rotations. Second, a zero-parameter graphics bridge converts the predicted state into pose-control videos, computing world-space geometry and occlusion in closed form. Third, a control-conditioned video-diffusion observation model synthesizes photorealistic RGB observations from the resulting structured controls. Our experiments establish two properties of Marionette. First, the predicted world state is directly controllable. Forcing a mismatched action stream changes root-aligned joint error by 31% across 48 held-out segments. Second, long-horizon behaviour is determined in the state, and can be repaired there. Left free, the two generated characters drift to 21.2 m apart (recorded sessions stay near 5 m) and a third of frames show ground penetration. Two rules imposed on the explicit state, a terrain collider and a separation cap, cut penetration by 66% and keep the pair engaged, with no change to the observation model. Routing appearance through the predicted state costs no fidelity we can detect, at an FVD of 831 against 799 for recorded pose.