拡散モデルはリアルタイムのゲームエンジンです。

Diffusion Models Are Real-Time Game Engines

August 27, 2024

著者: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

要旨

我々は、GameNGenを提案します。これは、初めてニューラルモデルによって完全に動作するゲームエンジンであり、高品質な長い軌跡上で複雑な環境とリアルタイムでやり取りすることを可能にします。GameNGenは、単一のTPU上で1秒間に20フレーム以上の速度で、クラシックゲームDOOMをインタラクティブにシミュレートすることができます。次フレーム予測では、PSNRが29.4であり、損失のあるJPEG圧縮と同等です。人間の評価者は、ゲームの短いクリップとシミュレーションのクリップを区別するのに、ランダムなチャンスよりわずかに優れています。GameNGenは2段階で訓練されます：（1）RLエージェントがゲームをプレイすることを学び、トレーニングセッションが記録され、（2）拡散モデルが、過去のフレームとアクションのシーケンスに依存した次のフレームを生成するように訓練されます。条件付きの拡張により、安定した自己回帰生成が長い軌跡上で可能となります。

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.