Los Modelos de Difusión son Motores de Juegos en Tiempo Real.

Diffusion Models Are Real-Time Game Engines

August 27, 2024

Autores: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

Resumen

Presentamos GameNGen, el primer motor de juego impulsado completamente por un modelo neuronal que permite la interacción en tiempo real con un entorno complejo a lo largo de trayectorias extensas y de alta calidad. GameNGen puede simular interactivamente el juego clásico DOOM a más de 20 cuadros por segundo en una sola TPU. La predicción del siguiente fotograma logra un PSNR de 29.4, comparable a la compresión JPEG con pérdida. Los evaluadores humanos son solo ligeramente mejores que el azar al distinguir clips cortos del juego de clips de la simulación. GameNGen se entrena en dos fases: (1) un agente de RL aprende a jugar el juego y las sesiones de entrenamiento se graban, y (2) se entrena un modelo de difusión para producir el siguiente fotograma, condicionado a la secuencia de fotogramas y acciones pasadas. Las mejoras de condicionamiento permiten una generación auto-regresiva estable a lo largo de trayectorias extensas.

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.