ピクセルから状態へ：インタラクティブ世界モデルをゲームエンジンとして再考する

要旨

プレイヤーのアクションに一貫して応答するインタラクティブな世界の構築は、長年にわたりコンピュータグラフィックス、ゲーム、人工知能に共通する目標であった。近年の映像生成モデルは、ユーザーのアクションに条件付けられた将来の観測を予測することで、この目標に向けたデータ駆動型のアプローチを提供し、次世代のゲームエンジンとして期待されるようになっている。しかし、真にインタラクティブなゲーム世界を実現するには、進化するゲーム条件に従ったインタラクション結果、長期にわたって持続する結果、そしてリアルタイムで動作する生成ループが必要である。従来のゲームエンジンは、再帰的なアクション-状態-観測ループを通じてこれらの特性を実現する。このループでは、プレイヤーのアクションが所定のルールに従って明示的なゲーム状態を更新し、その結果の状態から観測がレンダリングされる。本論文では、このループを整理の視点として、インタラクティブなゲーム世界モデリングを、プレイヤーアクション制御、ゲーム状態ダイナミクス、状態-観測持続性、リアルタイムインタラクティブ生成の4つの次元に沿って検討する。各次元について、インタラクティブなゲーム世界に必要な能力から出発し、既存のアプローチを代表的なファミリーに分類し、各ファミリーの長所とトレードオフを議論する。この分析を補完するものとして、我々はBlack Myth: Wukong向けのスケーラブルなデータエンジンを提示する。これは、フレームアライメントされたプレイヤーアクション、正解ゲーム状態、視覚観測、ならびに構造化および意味論的アノテーションを備えた90時間以上のゲームプレイを収集し、状態認識型ゲーム世界モデリングのリソースとして提供する。本論文がこの分野の現状を明確に示し、インタラクティブなゲーム世界への進展を促進することを願っている。

English

Building interactive worlds that respond coherently to player actions has long been a shared goal of computer graphics, games, and artificial intelligence. Recent video generative models provide a data-driven route toward this goal by predicting future observations conditioned on user actions, and are increasingly regarded as potential next-generation game engines. Realizing a genuinely interactive game world, however, requires interaction outcomes that follow rules over evolving game conditions, consequences that persist over long horizons, and a generation loop that operates in real time. Conventional game engines realize these properties through a recurrent action-state-observation loop, in which player actions update an explicit game state according to predefined rules and observations are rendered from the resulting state. Taking this loop as an organizing lens, this paper examines interactive game world modeling along four dimensions: player action control, game state dynamics, state-observation persistence, and real-time interactive generation. For each dimension, we start from the capabilities required by an interactive game world, group existing approaches into representative families, and discuss the strengths and trade-offs of each family. Complementing this analysis, we present a scalable data engine for Black Myth: Wukong that collects over 90 hours of gameplay with frame-aligned player actions, ground-truth game states, and visual observations, together with structured and semantic annotations, as a resource for state-aware game world modeling. We hope this paper offers a clear picture of where the field stands and fosters progress toward interactive game worlds.