Diffusiemodellen zijn real-time game-engines.

Diffusion Models Are Real-Time Game Engines

August 27, 2024

Auteurs: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

Samenvatting

We presenteren GameNGen, de eerste game-engine die volledig wordt aangedreven door een neuraal model en die real-time interactie mogelijk maakt met een complexe omgeving over lange trajecten met hoge kwaliteit. GameNGen kan het klassieke spel DOOM interactief simuleren met meer dan 20 frames per seconde op een enkele TPU. De voorspelling van het volgende frame bereikt een PSNR van 29.4, vergelijkbaar met lossy JPEG-compressie. Menselijke beoordelaars zijn slechts marginaal beter dan willekeurige kans in het onderscheiden van korte clips van het spel van clips van de simulatie. GameNGen wordt getraind in twee fasen: (1) een RL-agent leert het spel te spelen en de trainingssessies worden opgenomen, en (2) een diffusiemodel wordt getraind om het volgende frame te genereren, geconditioneerd op de reeks van vorige frames en acties. Conditioneringsaugmentaties maken stabiele autoregressieve generatie over lange trajecten mogelijk.

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.