GameFactory: Создание новых игр с помощью генеративных интерактивных видео

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Авторы: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Аннотация

Генеративные игровые движки имеют потенциал революционизировать разработку игр путем автономного создания нового контента и снижения ручной работы. Однако существующие методы генерации видеоигр не решают критическую проблему обобщения сцен, что ограничивает их применимость к существующим играм с фиксированными стилями и сценами. В данной статье мы представляем GameFactory, фреймворк, сосредоточенный на исследовании обобщения сцен в генерации видеоигр. Для создания совершенно новых и разнообразных игр мы используем предварительно обученные модели диффузии видео, обученные на открытых видеоданных. Для преодоления разрыва между открытыми приоритетами и небольшим набором данных по играм мы предлагаем многофазовую стратегию обучения, которая разделяет обучение стилю игры от управления действиями, сохраняя обобщение открытого домена при достижении управляемости действий. Используя Minecraft в качестве источника данных, мы выпускаем GF-Minecraft, высококачественный и разнообразный набор данных видео с аннотациями действий для исследований. Кроме того, мы расширяем наш фреймворк для обеспечения авторегрессивной генерации видеоигр с управляемыми действиями, позволяя создавать интерактивные видеоигры неограниченной длины. Экспериментальные результаты показывают, что GameFactory эффективно генерирует открытодоменные, разнообразные и управляемые действиями видеоигры, представляя значительный шаг вперед в генерации игр на основе искусственного интеллекта. Наш набор данных и страница проекта доступны публично по адресу https://vvictoryuki.github.io/gamefactory/.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.