GameFactory: 生成インタラクティブビデオを用いた新しいゲームの作成

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

著者: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

要旨

生成型ゲームエンジンは、新しいコンテンツを自律的に作成し、手作業の作業量を減らすことで、ゲーム開発を革新する可能性を秘めています。しかし、既存のビデオベースのゲーム生成手法は、シーンの一般化という重要な課題に対処できず、固定されたスタイルやシーンを持つ既存のゲームにのみ適用されるという制約があります。本論文では、ゲームビデオ生成におけるシーンの一般化を探究することに焦点を当てたフレームワークであるGameFactoryを提案します。完全に新しい多様なゲームを作成するために、オープンドメインのビデオデータでトレーニングされた事前学習済みビデオ拡散モデルを活用しています。オープンドメインの先行事項と小規模なゲームデータセットとのドメインギャップを埋めるために、ゲームスタイルの学習とアクション制御を分離し、オープンドメインの一般化を保ちつつアクションの制御可能性を達成するマルチフェーズのトレーニング戦略を提案しています。データソースとしてMinecraftを使用し、研究用に高品質で多様なアクション注釈付きビデオデータセットであるGF-Minecraftを公開しています。さらに、自己回帰型のアクション制御可能なゲームビデオ生成を可能にするために、フレームワークを拡張し、無制限の長さのインタラクティブなゲームビデオを制作できるようにしています。実験結果は、GameFactoryがオープンドメインで多様でアクション制御可能なゲームビデオを効果的に生成し、AIによるゲーム生成の大きな進歩を示しています。当社のデータセットとプロジェクトページは、https://vvictoryuki.github.io/gamefactory/ で公開されています。

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.