GameFactory : Création de nouveaux jeux avec des vidéos interactives génératives

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Auteurs: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Résumé

Les moteurs de jeu génératif ont le potentiel de révolutionner le développement de jeux en créant de manière autonome de nouveaux contenus et en réduisant la charge de travail manuelle. Cependant, les méthodes existantes de génération de jeux vidéo basées sur la vidéo échouent à résoudre le défi critique de la généralisation de scène, limitant leur applicabilité aux jeux existants avec des styles et des scènes fixes. Dans cet article, nous présentons GameFactory, un cadre axé sur l'exploration de la généralisation de scène dans la génération de vidéos de jeux. Pour permettre la création de jeux entièrement nouveaux et diversifiés, nous exploitons des modèles de diffusion vidéo pré-entraînés sur des données vidéo de domaine ouvert. Pour combler l'écart de domaine entre les connaissances a priori de domaine ouvert et l'ensemble de données de jeux à petite échelle, nous proposons une stratégie d'entraînement en plusieurs phases qui découple l'apprentissage du style de jeu du contrôle des actions, préservant ainsi la généralisation de domaine ouvert tout en atteignant la contrôlabilité des actions. En utilisant Minecraft comme source de données, nous publions GF-Minecraft, un ensemble de données vidéo annotées en actions de haute qualité et diversifié pour la recherche. De plus, nous étendons notre cadre pour permettre la génération de vidéos de jeu autoregressive et contrôlables en actions, permettant la production de vidéos de jeu interactives de longueur illimitée. Les résultats expérimentaux démontrent que GameFactory génère efficacement des vidéos de jeu diverses, contrôlables en actions et de domaine ouvert, représentant une avancée significative dans la génération de jeux pilotée par l'IA. Notre ensemble de données et la page de notre projet sont disponibles publiquement sur https://vvictoryuki.github.io/gamefactory/.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.