Diffusionsmodelle sind Echtzeit-Spiel-Engines.

Diffusion Models Are Real-Time Game Engines

August 27, 2024

Autoren: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

Zusammenfassung

Wir präsentieren GameNGen, den ersten Spiel-Engine, der vollständig von einem neuronalen Modell betrieben wird, das eine Echtzeit-Interaktion mit einer komplexen Umgebung über lange Trajektorien in hoher Qualität ermöglicht. GameNGen kann das klassische Spiel DOOM interaktiv mit über 20 Bildern pro Sekunde auf einer einzelnen TPU simulieren. Die Vorhersage des nächsten Bildes erreicht einen PSNR von 29,4, vergleichbar mit verlustbehafteter JPEG-Kompression. Menschliche Bewerter sind nur geringfügig besser als zufällige Auswahl bei der Unterscheidung kurzer Clips des Spiels von Clips der Simulation. GameNGen wird in zwei Phasen trainiert: (1) Ein RL-Agent lernt, das Spiel zu spielen, und die Trainingssitzungen werden aufgezeichnet, und (2) ein Diffusionsmodell wird trainiert, um das nächste Bild zu erzeugen, abhängig von der Sequenz vergangener Bilder und Aktionen. Konditionierungsverstärkungen ermöglichen eine stabile autoregressive Generierung über lange Trajektorien.

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.