GameWAM：ビデオゲームのための世界行動モデル

要旨

現代のビデオゲームは、一人称視点の知覚、急速な視覚変化、永続的な世界状態、そして異種混在のネイティブ操作を組み合わせる。既存のゲームエージェントは視覚的およびタスクの文脈を直接行動に写像するが、明示的な世界ダイナミクスのモデリングを欠いている。一方、対話型ゲームワールドモデルは、与えられた行動から視覚的な未来を予測するが、タスクポリシーとしては機能しない。ワールド・アクションモデル（WAM）はこれらの目的を統合するが、ビデオゲームのダイナミクスとオープンエンドな相互作用の下では依然としてほとんど未探索である。我々は、我々の知る限り、ネイティブなクローズドループゲームプレイとGUI制御のための初のWAMであるGameWAMを紹介する。GameWAMは、ブロック因果的条件付けとフローマッチングを備えた並列的な視覚生成プロセスと行動生成プロセスを通じて、将来の視覚観測と実行可能なキーボード・マウスの軌跡を同時に生成する。世界行動の同時学習を支援するため、同期されたゲームプレイとGUIの軌跡を構築する。異種混在のネイティブ操作を扱うため、GameWAMは各行動ステップでゲームプレイ/GUIモードを予測し、モード固有の予測分布と連続行動の正規化を用いて行動を生成する。長期的な相互作用のために、ブロックサイクル制御はコミットされた予測範囲を超えて予測し、短い行動プレフィックスのみを実行して新しい観測から再計画する。一方、サイクル内の細粒度コンテキストと階層的なサイクル間履歴が時間的連続性を保持する。実験では、比較対象のエージェントよりも少ないネイティブ操作の実行で、競争力のあるタスク成功率を示す。さらに、低周波行動ソースインプリンティング（LASI）を発見する。これは、固定条件付けの下で、サンプリングされた行動ソースの低周波成分が生成された粗いカメラ運動を体系的に方向付けるものであり、生成的制御におけるソース感応性の失敗モードを明らかにする。プロジェクトページは https://yunncheng.github.io/GameWAM/ で入手可能である。

English

Modern video games combine first-person perception, rapid visual changes, persistent world state, and heterogeneous native controls. Existing game agents map visual and task context directly to actions but lack explicit world dynamics modeling, whereas interactive game world models predict visual futures from supplied actions but do not serve as task policies. World-Action Models (WAMs) unify these objectives, but remain largely unexplored under the dynamics and open-ended interaction of video games. We introduce GameWAM, to our knowledge the first WAM for native closed-loop gameplay and GUI control. GameWAM jointly generates future visual observations and executable keyboard-mouse trajectories through parallel visual and action generative processes with block-causal conditioning and flow matching. To support joint world-action learning, we construct synchronized gameplay and GUI trajectories. To handle heterogeneous native control, GameWAM predicts a gameplay/GUI mode at each action step and generates actions with mode-specific prediction distributions and continuous-action normalization. For long-horizon interaction, block-cycle control predicts beyond the committed horizon, executes only a short action prefix, and replans from new observations, while fine-grained within-cycle context and hierarchical cross-cycle history preserve temporal continuity. Experiments demonstrate competitive task success with fewer executed native actions than the compared agents. We further uncover Low-Frequency Action Source Imprinting (LASI), in which low-frequency components of the sampled action source systematically steer coarse generated camera motion under fixed conditioning, revealing a source-sensitivity failure mode in generative control. Project page is available at https://yunncheng.github.io/GameWAM/.