Модели диффузии - это игровые движки реального времени.

Diffusion Models Are Real-Time Game Engines

August 27, 2024

Авторы: Dani Valevski, Yaniv Leviathan, Moab Arar, Shlomi Fruchter

cs.AI

Аннотация

Мы представляем GameNGen, первый игровой движок, полностью работающий на нейронной модели, что позволяет взаимодействовать в реальном времени с комплексной средой на протяжении длительных траекторий высокого качества. GameNGen способен интерактивно моделировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном процессоре TPU. Предсказание следующего кадра достигает значения PSNR 29.4, сравнимого с потерями при сжатии в формате JPEG. Люди-оценщики лишь незначительно превосходят случайный выбор в различении коротких клипов игры от клипов симуляции. GameNGen обучается в две фазы: (1) агент с подкреплением изучает игру, а сессии обучения записываются, и (2) обучается модель диффузии для создания следующего кадра на основе последовательности предыдущих кадров и действий. Условные аугментации обеспечивают стабильную авторегрессию при генерации на протяжении длительных траекторий.

English

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.