Les modèles de diffusion sont des moteurs de jeu en temps réel.

Diffusion Models Are Real-Time Game Engines

August 27, 2024

Auteurs: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

Résumé

Nous présentons GameNGen, le premier moteur de jeu entièrement alimenté par un modèle neuronal qui permet une interaction en temps réel avec un environnement complexe sur de longues trajectoires à haute qualité. GameNGen peut simuler de manière interactive le jeu classique DOOM à plus de 20 images par seconde sur un seul TPU. La prédiction du prochain frame atteint un PSNR de 29,4, comparable à une compression JPEG avec perte. Les évaluateurs humains sont à peine meilleurs que le hasard pour distinguer de courts extraits du jeu des extraits de la simulation. GameNGen est entraîné en deux phases : (1) un agent RL apprend à jouer au jeu et les sessions d'entraînement sont enregistrées, et (2) un modèle de diffusion est formé pour produire le prochain frame, conditionné par la séquence des frames et actions passées. Les augmentations de conditionnement permettent une génération autorégressive stable sur de longues trajectoires.

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.