HyPER-GAN: 실시간 포토리얼리즘 향상을 위한 하이브리드 패치 기반 이미지 간 변환
HyPER-GAN: Hybrid Patch-Based Image-to-Image Translation for Real-Time Photorealism Enhancement
March 11, 2026
저자: Stefanos Pasios, Nikos Nikolaidis
cs.AI
초록
생성 모델은 컴퓨터 비전 알고리즘 훈련을 위한 합성 데이터의 사실감을 높이기 위해 널리 사용됩니다. 그러나 이러한 모델들은 종종 시각적 아티팩트를 유발하여 알고리즘의 정확도를 저하시키고, 높은 계산 자원을 요구하여 실시간 훈련이나 평가 시나리오에서의 적용 가능성을 제한합니다. 본 논문에서는 실시간 추론에 최적화된 U-Net 구조의 생성기를 기반으로 한 경량화된 이미지-이미지 변환 방법인 HyPER-GAN(Hybrid Patch Enhanced Realism Generative Adversarial Network)을 제안합니다. 제안 모델은 사실감이 향상된 합성 이미지 쌍으로 훈련되며, 실제 데이터에서 추출한 정합된 패치를 활용하는 하이브리드 훈련 전략을 통해 시각적 사실감과 의미론적 일관성을 개선합니다. 실험 결과, HyPER-GAN은 추론 지연 시간, 시각적 사실감, 의미론적 견고성 측면에서 최첨단 이미지-이미지 변환 방법들을 능가하는 성능을 보여줍니다. 또한, 제안된 하이브리드 훈련 전략이 사실감이 향상된 합성 이미지 쌍만으로 모델을 훈련하는 것에 비해 시각적 품질과 의미론적 일관성을 실제로 향상시킴을 입증합니다. 코드와 사전 훈련된 모델은 https://github.com/stefanos50/HyPER-GAN에서 공개되어 있습니다.
English
Generative models are widely employed to enhance the photorealism of synthetic data for training computer vision algorithms. However, they often introduce visual artifacts that degrade the accuracy of these algorithms and require high computational resources, limiting their applicability in real-time training or evaluation scenarios. In this paper, we propose Hybrid Patch Enhanced Realism Generative Adversarial Network (HyPER-GAN), a lightweight image-to-image translation method based on a U-Net-style generator designed for real-time inference. The model is trained using paired synthetic and photorealism-enhanced images, complemented by a hybrid training strategy that incorporates matched patches from real-world data to improve visual realism and semantic consistency. Experimental results demonstrate that HyPER-GAN outperforms state-of-the-art paired image-to-image translation methods in terms of inference latency, visual realism, and semantic robustness. Moreover, it is illustrated that the proposed hybrid training strategy indeed improves visual quality and semantic consistency compared to training the model solely with paired synthetic and photorealism-enhanced images. Code and pretrained models are publicly available for download at: https://github.com/stefanos50/HyPER-GAN