REGEN: Echtzeit-Photorealismus-Verbesserung in Spielen durch ein Dual-Stufen-Generatives-Netzwerk-Framework

REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework

August 23, 2025

papers.authors: Stefanos Pasios, Nikos Nikolaidis

cs.AI

papers.abstract

Fotorealismus ist ein wichtiger Aspekt moderner Videospiele, da er das Spielerlebnis prägen und gleichzeitig die Immersion, die narrative Bindung und die visuelle Qualität beeinflussen kann. Obwohl jüngste Durchbrüche in der Hardwaretechnologie zusammen mit modernsten Rendering-Technologien den visuellen Realismus von Videospielen erheblich verbessert haben, bleibt die Erzielung von echtem Fotorealismus in dynamischen Umgebungen bei Echtzeit-Bildraten aufgrund des Kompromisses zwischen visueller Qualität und Leistung eine große Herausforderung. In diesem kurzen Beitrag stellen wir einen neuartigen Ansatz zur Steigerung des Fotorealismus gerenderter Spielbilder mithilfe von generativen adversen Netzwerken vor. Zu diesem Zweck schlagen wir das Framework „Real-time Photorealism Enhancement in Games via a dual-stage gEnerative Network“ (REGEN) vor, das ein robustes ungepaartes Bild-zu-Bild-Übersetzungsmodell verwendet, um semantisch konsistente fotorealistische Bilder zu erzeugen, wodurch das Problem in eine einfachere gepaarte Bild-zu-Bild-Übersetzungsaufgabe transformiert wird. Dies ermöglicht das Training mit einer leichtgewichtigen Methode, die Echtzeit-Inferenzzeiten erreichen kann, ohne die visuelle Qualität zu beeinträchtigen. Wir demonstrieren die Wirksamkeit unseres Frameworks anhand von Grand Theft Auto V und zeigen, dass der Ansatz visuelle Ergebnisse erzielt, die mit denen der robusten ungepaarten Im2Im-Methode vergleichbar sind, während die Inferenzgeschwindigkeit um das 32,14-fache verbessert wird. Unsere Ergebnisse deuten auch darauf hin, dass die Ergebnisse die fotorealistisch verbesserten Bilder übertreffen, die durch das direkte Training einer leichtgewichtigen ungepaarten Im2Im-Übersetzungsmethode zur Übersetzung der Videospielbilder in Richtung der visuellen Eigenschaften realer Bilder erzeugt werden. Code, vortrainierte Modelle und Demos für diese Arbeit sind verfügbar unter: https://github.com/stefanos50/REGEN.

English

Photorealism is an important aspect of modern video games since it can shape the player experience and simultaneously impact the immersion, narrative engagement, and visual fidelity. Although recent hardware technological breakthroughs, along with state-of-the-art rendering technologies, have significantly improved the visual realism of video games, achieving true photorealism in dynamic environments at real-time frame rates still remains a major challenge due to the tradeoff between visual quality and performance. In this short paper, we present a novel approach for enhancing the photorealism of rendered game frames using generative adversarial networks. To this end, we propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), which employs a robust unpaired image-to-image translation model to produce semantically consistent photorealistic frames that transform the problem into a simpler paired image-to-image translation task. This enables training with a lightweight method that can achieve real-time inference time without compromising visual quality. We demonstrate the effectiveness of our framework on Grand Theft Auto V, showing that the approach achieves visual results comparable to the ones produced by the robust unpaired Im2Im method while improving inference speed by 32.14 times. Our findings also indicate that the results outperform the photorealism-enhanced frames produced by directly training a lightweight unpaired Im2Im translation method to translate the video game frames towards the visual characteristics of real-world images. Code, pre-trained models, and demos for this work are available at: https://github.com/stefanos50/REGEN.