REGEN: 이중 단계 생성 네트워크 프레임워크를 통한 게임 내 실시간 포토리얼리즘 향상
REGEN: Real-Time Photorealism Enhancement in Games via a Dual-Stage Generative Network Framework
August 23, 2025
저자: Stefanos Pasios, Nikos Nikolaidis
cs.AI
초록
포토리얼리즘(Photorealism)은 플레이어 경험을 형성하고 몰입감, 내러티브 참여도, 시각적 충실도에 동시에 영향을 미칠 수 있기 때문에 현대 비디오 게임에서 중요한 요소입니다. 최근 하드웨어 기술의 획기적인 발전과 최첨단 렌더링 기술이 비디오 게임의 시각적 현실감을 크게 향상시켰지만, 시각적 품질과 성능 간의 트레이드오프로 인해 실시간 프레임 속도에서 동적 환경에서의 진정한 포토리얼리즘 달성은 여전히 주요 과제로 남아 있습니다. 본 짧은 논문에서는 생성적 적대 네트워크(GAN)를 사용하여 렌더링된 게임 프레임의 포토리얼리즘을 향상시키는 새로운 접근 방식을 제시합니다. 이를 위해, 우리는 이중 단계 생성 네트워크 프레임워크(REGEN)를 통해 실시간 포토리얼리즘 향상을 제안합니다. 이 프레임워크는 강력한 비짝 이미지-이미지 변환 모델을 사용하여 의미적으로 일관된 포토리얼리즘 프레임을 생성함으로써 문제를 더 단순한 짝 이미지-이미지 변환 작업으로 변환합니다. 이를 통해 시각적 품질을 저하시키지 않으면서 실시간 추론 시간을 달성할 수 있는 경량화된 방법으로 학습이 가능합니다. 우리는 Grand Theft Auto V에서 이 프레임워크의 효과를 입증하며, 이 접근법이 강력한 비짝 Im2Im 방법으로 생성된 결과와 비슷한 시각적 결과를 달성하면서 추론 속도를 32.14배 향상시킨다는 것을 보여줍니다. 또한, 우리의 연구 결과는 비디오 게임 프레임을 실세계 이미지의 시각적 특성으로 변환하기 위해 경량화된 비짝 Im2Im 변환 방법을 직접 학습시켜 생성된 포토리얼리즘 강화 프레임보다 우수한 결과를 보여줍니다. 이 작업의 코드, 사전 학습된 모델, 데모는 https://github.com/stefanos50/REGEN에서 확인할 수 있습니다.
English
Photorealism is an important aspect of modern video games since it can shape
the player experience and simultaneously impact the immersion, narrative
engagement, and visual fidelity. Although recent hardware technological
breakthroughs, along with state-of-the-art rendering technologies, have
significantly improved the visual realism of video games, achieving true
photorealism in dynamic environments at real-time frame rates still remains a
major challenge due to the tradeoff between visual quality and performance. In
this short paper, we present a novel approach for enhancing the photorealism of
rendered game frames using generative adversarial networks. To this end, we
propose Real-time photorealism Enhancement in Games via a dual-stage gEnerative
Network framework (REGEN), which employs a robust unpaired image-to-image
translation model to produce semantically consistent photorealistic frames that
transform the problem into a simpler paired image-to-image translation task.
This enables training with a lightweight method that can achieve real-time
inference time without compromising visual quality. We demonstrate the
effectiveness of our framework on Grand Theft Auto V, showing that the approach
achieves visual results comparable to the ones produced by the robust unpaired
Im2Im method while improving inference speed by 32.14 times. Our findings also
indicate that the results outperform the photorealism-enhanced frames produced
by directly training a lightweight unpaired Im2Im translation method to
translate the video game frames towards the visual characteristics of
real-world images. Code, pre-trained models, and demos for this work are
available at: https://github.com/stefanos50/REGEN.