확산 모델은 실시간 게임 엔진입니다.

Diffusion Models Are Real-Time Game Engines

August 27, 2024

저자: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

초록

우리는 GameNGen을 제시합니다. 이는 신경 모델에 의해 완전히 구동되는 최초의 게임 엔진으로, 고품질의 긴 궤적을 통해 복잡한 환경과의 실시간 상호 작용을 가능하게 합니다. GameNGen은 단일 TPU에서 초당 20프레임 이상으로 클래식 게임 DOOM을 대화식으로 시뮬레이션할 수 있습니다. 다음 프레임 예측은 PSNR이 29.4로, 손실 압축 JPEG과 유사합니다. 인간 평가자들은 게임의 짧은 클립과 시뮬레이션 클립을 구분하는 데 랜덤 기회보다 약간 더 나은 성과를 보입니다. GameNGen은 두 단계로 훈련됩니다: (1) 강화 학습 에이전트가 게임을 플레이하는 법을 배우고 훈련 세션을 기록하며, (2) 확산 모델이 과거 프레임 및 액션 시퀀스에 의존하여 다음 프레임을 생성하도록 훈련됩니다. 조건 부여 증강은 긴 궤적에서 안정적인 자기 회귀 생성을 가능하게 합니다.

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.