REGEN: Real-Time Fotorealistische Verbetering in Spellen via een Dual-Stage Generatief Netwerkraamwerk

REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework

August 23, 2025

Auteurs: Stefanos Pasios, Nikos Nikolaidis

cs.AI

Samenvatting

Fotorealisme is een belangrijk aspect van moderne videogames, omdat het de spelervaring kan vormgeven en tegelijkertijd de immersie, narratieve betrokkenheid en visuele kwaliteit kan beïnvloeden. Hoewel recente doorbraken in hardwaretechnologie, samen met state-of-the-art renderingtechnologieën, de visuele realiteit van videogames aanzienlijk hebben verbeterd, blijft het bereiken van echt fotorealisme in dynamische omgevingen met real-time frame rates een grote uitdaging vanwege de afweging tussen visuele kwaliteit en prestaties. In dit korte artikel presenteren we een nieuwe aanpak om het fotorealisme van gerenderde gameframes te verbeteren met behulp van generatieve adversariële netwerken. Hiertoe stellen we Real-time Photorealism Enhancement in Games via een dual-stage gEnerative Network framework (REGEN) voor, dat een robuust ongepaard beeld-naar-beeld vertaalmodel gebruikt om semantisch consistente fotorealistische frames te produceren, waardoor het probleem wordt omgezet in een eenvoudiger gepaard beeld-naar-beeld vertaaltaak. Dit maakt training mogelijk met een lichtgewicht methode die real-time inferentietijd kan bereiken zonder in te leveren op visuele kwaliteit. We demonstreren de effectiviteit van ons framework op Grand Theft Auto V, waarbij we laten zien dat de aanpak visuele resultaten bereikt die vergelijkbaar zijn met die geproduceerd door het robuuste ongepaarde Im2Im-model, terwijl de inferentiesnelheid met 32,14 keer wordt verbeterd. Onze bevindingen geven ook aan dat de resultaten de fotorealistische frames overtreffen die worden geproduceerd door direct een lichtgewicht ongepaard Im2Im-vertaalmodel te trainen om de videogameframes te vertalen naar de visuele kenmerken van real-world beelden. Code, vooraf getrainde modellen en demo's voor dit werk zijn beschikbaar op: https://github.com/stefanos50/REGEN.

English

Photorealism is an important aspect of modern video games since it can shape the player experience and simultaneously impact the immersion, narrative engagement, and visual fidelity. Although recent hardware technological breakthroughs, along with state-of-the-art rendering technologies, have significantly improved the visual realism of video games, achieving true photorealism in dynamic environments at real-time frame rates still remains a major challenge due to the tradeoff between visual quality and performance. In this short paper, we present a novel approach for enhancing the photorealism of rendered game frames using generative adversarial networks. To this end, we propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), which employs a robust unpaired image-to-image translation model to produce semantically consistent photorealistic frames that transform the problem into a simpler paired image-to-image translation task. This enables training with a lightweight method that can achieve real-time inference time without compromising visual quality. We demonstrate the effectiveness of our framework on Grand Theft Auto V, showing that the approach achieves visual results comparable to the ones produced by the robust unpaired Im2Im method while improving inference speed by 32.14 times. Our findings also indicate that the results outperform the photorealism-enhanced frames produced by directly training a lightweight unpaired Im2Im translation method to translate the video game frames towards the visual characteristics of real-world images. Code, pre-trained models, and demos for this work are available at: https://github.com/stefanos50/REGEN.