REGEN : Amélioration en temps réel du photoréalisme dans les jeux via un cadre de réseau génératif à double étage

REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework

August 23, 2025

papers.authors: Stefanos Pasios, Nikos Nikolaidis

cs.AI

papers.abstract

Le photoréalisme est un aspect important des jeux vidéo modernes, car il peut façonner l'expérience du joueur tout en influençant simultanément l'immersion, l'engagement narratif et la fidélité visuelle. Bien que les récentes avancées technologiques matérielles, associées aux technologies de rendu de pointe, aient considérablement amélioré le réalisme visuel des jeux vidéo, atteindre un véritable photoréalisme dans des environnements dynamiques à des taux de rafraîchissement en temps réel reste un défi majeur en raison du compromis entre qualité visuelle et performance. Dans ce court article, nous présentons une nouvelle approche pour améliorer le photoréalisme des images de jeu rendues en utilisant des réseaux antagonistes génératifs. À cette fin, nous proposons Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), qui emploie un modèle robuste de traduction d'image à image non appariée pour produire des images photoréalistes sémantiquement cohérentes, transformant ainsi le problème en une tâche de traduction d'image à image appariée plus simple. Cela permet un entraînement avec une méthode légère capable d'atteindre un temps d'inférence en temps réel sans compromettre la qualité visuelle. Nous démontrons l'efficacité de notre framework sur Grand Theft Auto V, montrant que l'approche atteint des résultats visuels comparables à ceux produits par la méthode robuste de traduction d'image à image non appariée tout en améliorant la vitesse d'inférence par un facteur de 32,14. Nos résultats indiquent également que les images surpassent en photoréalisme celles produites par l'entraînement direct d'une méthode légère de traduction d'image à image non appariée pour traduire les images de jeu vidéo vers les caractéristiques visuelles des images du monde réel. Le code, les modèles pré-entraînés et les démonstrations de ce travail sont disponibles à l'adresse suivante : https://github.com/stefanos50/REGEN.

English

Photorealism is an important aspect of modern video games since it can shape the player experience and simultaneously impact the immersion, narrative engagement, and visual fidelity. Although recent hardware technological breakthroughs, along with state-of-the-art rendering technologies, have significantly improved the visual realism of video games, achieving true photorealism in dynamic environments at real-time frame rates still remains a major challenge due to the tradeoff between visual quality and performance. In this short paper, we present a novel approach for enhancing the photorealism of rendered game frames using generative adversarial networks. To this end, we propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), which employs a robust unpaired image-to-image translation model to produce semantically consistent photorealistic frames that transform the problem into a simpler paired image-to-image translation task. This enables training with a lightweight method that can achieve real-time inference time without compromising visual quality. We demonstrate the effectiveness of our framework on Grand Theft Auto V, showing that the approach achieves visual results comparable to the ones produced by the robust unpaired Im2Im method while improving inference speed by 32.14 times. Our findings also indicate that the results outperform the photorealism-enhanced frames produced by directly training a lightweight unpaired Im2Im translation method to translate the video game frames towards the visual characteristics of real-world images. Code, pre-trained models, and demos for this work are available at: https://github.com/stefanos50/REGEN.