StatePlay: 状態認識型ゲーム世界モデルによるメカニクス一貫生成

要旨

近年のゲームワールドモデルは、プレイヤーのアクションに応じて視覚的にリアルでインタラクティブな環境を生成できるようになっている。しかし、ゲームはピクセルだけで定義されるわけではない。ゲームは明確なメカニクス、すなわち体力減少、スキル発動、ゲーム終了を制御する状態依存ルールによって支配されている。これらのメカニクスは、ヒットポイント、スキルメーター、タイマーといった正確な内部状態に依存しており、それらは視覚的な観測と密接に結合し、ゲームプレイの展開を決定する。既存のゲームワールドモデルは、このような状態のダイナミクスをモデル化しない場合、視覚的にもっともらしいロールアウトを生成できるものの、背後にあるゲームルールに違反する可能性がある。本論文では、視覚コンテンツとゲーム状態を共同で予測し、メカニクスに一貫した生成を促進する、新しい状態認識型ゲームワールドモデル「StatePlay」を提案する。StatePlayは混合トランスフォーマー（MoT）スタイルのアーキテクチャを採用し、特殊化された視覚表現と状態表現を保持しつつ、クロスモーダルな相互作用を可能にし、予測された状態がフレーム生成を導く。各ブランチはさらに、そのモダリティに適した個別の目的関数で最適化される。実験により、StatePlayは状態予測において平均正規化L1距離が0.06未満を達成する。さらに、明示的な状態モデリングを行わないモデルと比較して、生成されたゲームロールアウトにおけるメカニクス忠実度が18.6%向上する。全体として、本研究は状態認識型ゲームワールドモデリングの重要性を浮き彫りにし、ピクセルレベルのリアリズムを超えて、完全でメカニクスに忠実なゲーム生成へと前進させる。

English

Recent game world models can generate visually realistic and interactive environments conditioned on player actions. However, games are not defined by pixels alone; they are governed by explicit mechanics, namely state-dependent rules that control health reduction, skill activation, and game termination. These mechanics depend on precise internal states, such as health points, skill meters, and timers, which are tightly coupled with visual observations and determine how gameplay evolves. Without modeling these state dynamics, existing game world models may generate visually plausible rollouts but violate the underlying game rules. In this paper, we propose StatePlay, a novel state-aware game world model that jointly predicts visual content and game states to promote mechanics-consistent generation. StatePlay adopts a mixture-of-transformers (MoT)-style architecture that preserves specialized visual and state representations while enabling cross-modal interaction, allowing predicted states to guide frame generation. Each branch is further optimized with a distinct objective suited to its modality. Experiments show that StatePlay achieves an average normalized L1 distance below 0.06 for state prediction. Furthermore, compared with models without explicit state modeling, our method improves mechanics fidelity in generated game rollouts by 18.6%. Overall, our work highlights the importance of state-aware game world modeling and advances beyond pixel-level realism toward complete and mechanically faithful game generation.