REGEN: Miglioramento in Tempo Reale del Fotorealismo nei Giochi tramite un Framework di Rete Generativa a Doppio Stadio

REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework

August 23, 2025

Autori: Stefanos Pasios, Nikos Nikolaidis

cs.AI

Abstract

Il fotorealismo è un aspetto cruciale dei videogiochi moderni, poiché può influenzare l'esperienza del giocatore e, allo stesso tempo, impattare sull'immersione, sull'engagement narrativo e sulla fedeltà visiva. Sebbene i recenti progressi tecnologici nell'hardware, uniti alle tecnologie di rendering all'avanguardia, abbiano notevolmente migliorato il realismo visivo dei videogiochi, raggiungere un fotorealismo autentico in ambienti dinamici con frame rate in tempo reale rimane una sfida significativa a causa del compromesso tra qualità visiva e prestazioni. In questo breve articolo, presentiamo un approccio innovativo per migliorare il fotorealismo dei frame renderizzati nei videogiochi utilizzando le reti generative adversarial. A tal fine, proponiamo il framework Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network (REGEN), che impiega un robusto modello di traduzione immagine-immagine non accoppiata per produrre frame fotorealistici semanticamente coerenti, trasformando il problema in un compito più semplice di traduzione immagine-immagine accoppiata. Ciò consente un addestramento con un metodo leggero in grado di ottenere tempi di inferenza in tempo reale senza compromettere la qualità visiva. Dimostriamo l'efficacia del nostro framework su Grand Theft Auto V, mostrando che l'approccio raggiunge risultati visivi comparabili a quelli prodotti dal robusto metodo Im2Im non accoppiato, migliorando al contempo la velocità di inferenza di 32,14 volte. I nostri risultati indicano inoltre che i frame migliorati in termini di fotorealismo superano quelli prodotti addestrando direttamente un metodo leggero di traduzione Im2Im non accoppiato per tradurre i frame del videogioco verso le caratteristiche visive delle immagini del mondo reale. Codice, modelli pre-addestrati e demo per questo lavoro sono disponibili all'indirizzo: https://github.com/stefanos50/REGEN.

English

Photorealism is an important aspect of modern video games since it can shape the player experience and simultaneously impact the immersion, narrative engagement, and visual fidelity. Although recent hardware technological breakthroughs, along with state-of-the-art rendering technologies, have significantly improved the visual realism of video games, achieving true photorealism in dynamic environments at real-time frame rates still remains a major challenge due to the tradeoff between visual quality and performance. In this short paper, we present a novel approach for enhancing the photorealism of rendered game frames using generative adversarial networks. To this end, we propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), which employs a robust unpaired image-to-image translation model to produce semantically consistent photorealistic frames that transform the problem into a simpler paired image-to-image translation task. This enables training with a lightweight method that can achieve real-time inference time without compromising visual quality. We demonstrate the effectiveness of our framework on Grand Theft Auto V, showing that the approach achieves visual results comparable to the ones produced by the robust unpaired Im2Im method while improving inference speed by 32.14 times. Our findings also indicate that the results outperform the photorealism-enhanced frames produced by directly training a lightweight unpaired Im2Im translation method to translate the video game frames towards the visual characteristics of real-world images. Code, pre-trained models, and demos for this work are available at: https://github.com/stefanos50/REGEN.