GameFactory: Creando Nuevos Juegos con Videos Interactivos Generativos

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Autores: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Resumen

Los motores de juegos generativos tienen el potencial de revolucionar el desarrollo de juegos al crear nuevo contenido de forma autónoma y reducir la carga de trabajo manual. Sin embargo, los métodos existentes de generación de juegos basados en video no abordan el desafío crítico de la generalización de escenas, lo que limita su aplicabilidad a juegos existentes con estilos y escenas fijas. En este documento, presentamos GameFactory, un marco centrado en explorar la generalización de escenas en la generación de videos de juegos. Para permitir la creación de juegos completamente nuevos y diversos, aprovechamos modelos de difusión de video preentrenados en datos de video de dominio abierto. Para cerrar la brecha de dominio entre los conocimientos previos de dominio abierto y el conjunto de datos de juegos a pequeña escala, proponemos una estrategia de entrenamiento de múltiples fases que separa el aprendizaje del estilo del juego del control de acciones, preservando la generalización de dominio abierto mientras se logra la controlabilidad de acciones. Utilizando Minecraft como nuestra fuente de datos, lanzamos GF-Minecraft, un conjunto de datos de video de alta calidad y diversidad anotado con acciones para la investigación. Además, ampliamos nuestro marco para permitir la generación de videos de juegos autoregresivos y controlables por acciones, lo que permite la producción de videos de juegos interactivos de longitud ilimitada. Los resultados experimentales demuestran que GameFactory genera de manera efectiva videos de juegos de dominio abierto, diversos y controlables por acciones, representando un avance significativo en la generación de juegos impulsada por IA. Nuestro conjunto de datos y página del proyecto están disponibles públicamente en https://vvictoryuki.github.io/gamefactory/.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.