I modelli di diffusione sono motori di gioco in tempo reale.
Diffusion Models Are Real-Time Game Engines
August 27, 2024
Autori: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter
cs.AI
Abstract
Presentiamo GameNGen, il primo motore di gioco alimentato interamente da un modello neurale che consente l'interazione in tempo reale con un ambiente complesso lungo traiettorie di alta qualità. GameNGen può simulare interattivamente il classico gioco DOOM a oltre 20 frame al secondo su un singolo TPU. La previsione del frame successivo raggiunge un PSNR di 29.4, paragonabile alla compressione JPEG con perdita. I valutatori umani sono solo leggermente migliori del caso casuale nel distinguere brevi clip del gioco da clip della simulazione. GameNGen è addestrato in due fasi: (1) un agente RL impara a giocare al gioco e le sessioni di addestramento vengono registrate, e (2) un modello di diffusione viene addestrato a produrre il frame successivo, condizionato alla sequenza dei frame e delle azioni passate. Le aggiunte di condizionamento consentono una generazione auto-regressiva stabile lungo lunghe traiettorie.
English
We present GameNGen, the first game engine powered entirely by a neural model
that enables real-time interaction with a complex environment over long
trajectories at high quality. GameNGen can interactively simulate the classic
game DOOM at over 20 frames per second on a single TPU. Next frame prediction
achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are
only slightly better than random chance at distinguishing short clips of the
game from clips of the simulation. GameNGen is trained in two phases: (1) an
RL-agent learns to play the game and the training sessions are recorded, and
(2) a diffusion model is trained to produce the next frame, conditioned on the
sequence of past frames and actions. Conditioning augmentations enable stable
auto-regressive generation over long trajectories.