GameFactory: Criando Novos Jogos com Vídeos Interativos Generativos

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Autores: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Resumo

Motores de jogos generativos têm o potencial de revolucionar o desenvolvimento de jogos ao criar novo conteúdo de forma autônoma e reduzir a carga de trabalho manual. No entanto, os métodos existentes de geração de jogos baseados em vídeo falham em abordar o desafio crítico da generalização de cenas, limitando sua aplicabilidade a jogos existentes com estilos e cenas fixas. Neste artigo, apresentamos o GameFactory, um framework focado em explorar a generalização de cenas na geração de vídeos de jogos. Para permitir a criação de jogos totalmente novos e diversos, aproveitamos modelos de difusão de vídeo pré-treinados em dados de vídeo de domínio aberto. Para superar a diferença de domínio entre prioridades de domínio aberto e conjuntos de dados de jogos em pequena escala, propomos uma estratégia de treinamento em várias fases que separa a aprendizagem de estilo de jogo do controle de ação, preservando a generalização de domínio aberto ao mesmo tempo em que alcança a controlabilidade de ação. Usando o Minecraft como nossa fonte de dados, lançamos o GF-Minecraft, um conjunto de dados de vídeo de alta qualidade e diversidade anotado com ação para pesquisa. Além disso, estendemos nosso framework para permitir a geração de vídeos de jogos autoregressivos e controláveis por ação, permitindo a produção de vídeos de jogos interativos de comprimento ilimitado. Resultados experimentais demonstram que o GameFactory gera de forma eficaz vídeos de jogos de domínio aberto, diversos e controláveis por ação, representando um avanço significativo na geração de jogos impulsionada por IA. Nosso conjunto de dados e página do projeto estão publicamente disponíveis em https://vvictoryuki.github.io/gamefactory/.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.