REGEN: Улучшение фотореализма в играх в реальном времени с помощью двухэтапной генеративной сетевой архитектуры

REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework

August 23, 2025

Авторы: Stefanos Pasios, Nikos Nikolaidis

cs.AI

Аннотация

Фотореализм является важным аспектом современных видеоигр, поскольку он может формировать игровой опыт, одновременно влияя на погружение, вовлеченность в сюжет и визуальное качество. Хотя недавние технологические прорывы в области аппаратного обеспечения, наряду с передовыми технологиями рендеринга, значительно улучшили визуальный реализм видеоигр, достижение истинного фотореализма в динамических средах с реальным временем кадров по-прежнему остается серьезной проблемой из-за компромисса между визуальным качеством и производительностью. В этой краткой статье мы представляем новый подход для повышения фотореализма рендеренных игровых кадров с использованием генеративных состязательных сетей. Для этого мы предлагаем фреймворк Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network (REGEN), который использует надежную модель непарного преобразования изображений для создания семантически согласованных фотореалистичных кадров, преобразуя задачу в более простую задачу парного преобразования изображений. Это позволяет обучать легковесный метод, который может достигать времени вывода в реальном времени без ущерба для визуального качества. Мы демонстрируем эффективность нашего фреймворка на примере игры Grand Theft Auto V, показывая, что подход достигает визуальных результатов, сопоставимых с теми, которые создаются надежным методом непарного Im2Im, при этом улучшая скорость вывода в 32,14 раза. Наши результаты также показывают, что кадры с улучшенным фотореализмом превосходят те, которые создаются путем прямого обучения легковесного метода непарного Im2Im для преобразования игровых кадров в визуальные характеристики реальных изображений. Код, предобученные модели и демонстрации для этой работы доступны по адресу: https://github.com/stefanos50/REGEN.

English

Photorealism is an important aspect of modern video games since it can shape the player experience and simultaneously impact the immersion, narrative engagement, and visual fidelity. Although recent hardware technological breakthroughs, along with state-of-the-art rendering technologies, have significantly improved the visual realism of video games, achieving true photorealism in dynamic environments at real-time frame rates still remains a major challenge due to the tradeoff between visual quality and performance. In this short paper, we present a novel approach for enhancing the photorealism of rendered game frames using generative adversarial networks. To this end, we propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), which employs a robust unpaired image-to-image translation model to produce semantically consistent photorealistic frames that transform the problem into a simpler paired image-to-image translation task. This enables training with a lightweight method that can achieve real-time inference time without compromising visual quality. We demonstrate the effectiveness of our framework on Grand Theft Auto V, showing that the approach achieves visual results comparable to the ones produced by the robust unpaired Im2Im method while improving inference speed by 32.14 times. Our findings also indicate that the results outperform the photorealism-enhanced frames produced by directly training a lightweight unpaired Im2Im translation method to translate the video game frames towards the visual characteristics of real-world images. Code, pre-trained models, and demos for this work are available at: https://github.com/stefanos50/REGEN.