HyPER-GAN: Hybride Patch-Gebaseerde Beeld-naar-Beeld Vertaling voor Realistische Fotorealistische Verbetering in Realtime
HyPER-GAN: Hybrid Patch-Based Image-to-Image Translation for Real-Time Photorealism Enhancement
March 11, 2026
Auteurs: Stefanos Pasios, Nikos Nikolaidis
cs.AI
Samenvatting
Generatieve modellen worden veelvuldig ingezet om de fotorealistische kwaliteit van synthetische data voor het trainen van computervisie-algoritmen te verbeteren. Zij introduceren echter vaak visuele artefacten die de nauwkeurigheid van deze algoritmen aantasten en vergen hoge computationele middelen, wat hun toepasbaarheid in real-time trainings- of evaluatiescenario's beperkt. In dit artikel presenteren wij HyPER-GAN (Hybrid Patch Enhanced Realism Generative Adversarial Network), een lichtgewicht image-to-image-vertaalmetode gebaseerd op een U-Net-stijl generator, ontworpen voor real-time inferentie. Het model wordt getraind met gepaarde synthetische en fotorealistisch verbeterde afbeeldingen, aangevuld met een hybride trainingsstrategie die overeenkomende patches uit real-world data integreert om de visuele realisme en semantische consistentie te verbeteren. Experimentele resultaten tonen aan dat HyPER-GAN state-of-the-art gepaarde image-to-image-vertaalmethoden overtreft op het gebied van inferentielatentie, visueel realisme en semantische robuustheid. Bovendien wordt aangetoond dat de voorgestelde hybride trainingsstrategie inderdaad de visuele kwaliteit en semantische consistentie verbetert in vergelijking met het uitsluitend trainen van het model met gepaarde synthetische en fotorealistisch verbeterde afbeeldingen. Code en vooraf getrainde modellen zijn openbaar beschikbaar voor download op: https://github.com/stefanos50/HyPER-GAN
English
Generative models are widely employed to enhance the photorealism of synthetic data for training computer vision algorithms. However, they often introduce visual artifacts that degrade the accuracy of these algorithms and require high computational resources, limiting their applicability in real-time training or evaluation scenarios. In this paper, we propose Hybrid Patch Enhanced Realism Generative Adversarial Network (HyPER-GAN), a lightweight image-to-image translation method based on a U-Net-style generator designed for real-time inference. The model is trained using paired synthetic and photorealism-enhanced images, complemented by a hybrid training strategy that incorporates matched patches from real-world data to improve visual realism and semantic consistency. Experimental results demonstrate that HyPER-GAN outperforms state-of-the-art paired image-to-image translation methods in terms of inference latency, visual realism, and semantic robustness. Moreover, it is illustrated that the proposed hybrid training strategy indeed improves visual quality and semantic consistency compared to training the model solely with paired synthetic and photorealism-enhanced images. Code and pretrained models are publicly available for download at: https://github.com/stefanos50/HyPER-GAN