GameFactory: Creazione di Nuovi Giochi con Video Interattivi Generativi

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Autori: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Abstract

I motori di gioco generativi hanno il potenziale di rivoluzionare lo sviluppo dei videogiochi creando autonomamente nuovi contenuti e riducendo il carico di lavoro manuale. Tuttavia, i metodi esistenti di generazione di videogiochi basati su video non affrontano la sfida critica della generalizzazione della scena, limitando la loro applicabilità ai giochi esistenti con stili e scene fissi. In questo articolo, presentiamo GameFactory, un framework focalizzato sull'esplorazione della generalizzazione della scena nella generazione di video di giochi. Per consentire la creazione di giochi completamente nuovi e diversi, sfruttiamo modelli di diffusione video preaddestrati su dati video di dominio aperto. Per colmare il divario di dominio tra i priori di dominio aperto e il dataset di giochi su piccola scala, proponiamo una strategia di addestramento a più fasi che separa l'apprendimento dello stile di gioco dal controllo dell'azione, preservando la generalizzazione del dominio aperto e ottenendo la controllabilità dell'azione. Utilizzando Minecraft come nostra fonte di dati, rilasciamo GF-Minecraft, un dataset video di alta qualità e diversità annotato sull'azione per la ricerca. Inoltre, estendiamo il nostro framework per consentire la generazione di video di giochi autoregressivi e controllabili sull'azione, consentendo la produzione di video di giochi interattivi di lunghezza illimitata. I risultati sperimentali dimostrano che GameFactory genera efficacemente video di giochi di dominio aperto, diversi e controllabili sull'azione, rappresentando un significativo passo avanti nella generazione di giochi guidata dall'IA. Il nostro dataset e la pagina del progetto sono pubblicamente disponibili su https://vvictoryuki.github.io/gamefactory/.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.