REGEN: Aprimoramento de Fotorealismo em Tempo Real em Jogos por meio de uma Estrutura de Rede Gerativa em Duas Etapas

REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework

August 23, 2025

Autores: Stefanos Pasios, Nikos Nikolaidis

cs.AI

Resumo

O fotorrealismo é um aspecto importante dos videogames modernos, pois pode moldar a experiência do jogador e, simultaneamente, impactar a imersão, o engajamento narrativo e a fidelidade visual. Embora avanços tecnológicos recentes em hardware, juntamente com tecnologias de renderização de ponta, tenham melhorado significativamente o realismo visual dos videogames, alcançar o verdadeiro fotorrealismo em ambientes dinâmicos com taxas de quadros em tempo real ainda permanece um grande desafio devido à relação de compromisso entre qualidade visual e desempenho. Neste breve artigo, apresentamos uma nova abordagem para aprimorar o fotorrealismo de quadros renderizados de jogos usando redes generativas adversariais. Para isso, propomos o Real-time Photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), que emprega um modelo robusto de tradução de imagem para imagem não pareadas para produzir quadros fotorrealistas semanticamente consistentes, transformando o problema em uma tarefa mais simples de tradução de imagem para imagem pareadas. Isso permite o treinamento com um método leve que pode alcançar tempo de inferência em tempo real sem comprometer a qualidade visual. Demonstramos a eficácia de nosso framework no Grand Theft Auto V, mostrando que a abordagem alcança resultados visuais comparáveis aos produzidos pelo método robusto de Im2Im não pareado, enquanto melhora a velocidade de inferência em 32,14 vezes. Nossos achados também indicam que os resultados superam os quadros aprimorados com fotorrealismo produzidos ao treinar diretamente um método leve de tradução Im2Im não pareado para traduzir os quadros do videogame em direção às características visuais de imagens do mundo real. Código, modelos pré-treinados e demonstrações deste trabalho estão disponíveis em: https://github.com/stefanos50/REGEN.

English

Photorealism is an important aspect of modern video games since it can shape the player experience and simultaneously impact the immersion, narrative engagement, and visual fidelity. Although recent hardware technological breakthroughs, along with state-of-the-art rendering technologies, have significantly improved the visual realism of video games, achieving true photorealism in dynamic environments at real-time frame rates still remains a major challenge due to the tradeoff between visual quality and performance. In this short paper, we present a novel approach for enhancing the photorealism of rendered game frames using generative adversarial networks. To this end, we propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative Network framework (REGEN), which employs a robust unpaired image-to-image translation model to produce semantically consistent photorealistic frames that transform the problem into a simpler paired image-to-image translation task. This enables training with a lightweight method that can achieve real-time inference time without compromising visual quality. We demonstrate the effectiveness of our framework on Grand Theft Auto V, showing that the approach achieves visual results comparable to the ones produced by the robust unpaired Im2Im method while improving inference speed by 32.14 times. Our findings also indicate that the results outperform the photorealism-enhanced frames produced by directly training a lightweight unpaired Im2Im translation method to translate the video game frames towards the visual characteristics of real-world images. Code, pre-trained models, and demos for this work are available at: https://github.com/stefanos50/REGEN.