HyPER-GAN：リアルタイム写実性向上のためのハイブリッドパッチベース画像変換
HyPER-GAN: Hybrid Patch-Based Image-to-Image Translation for Real-Time Photorealism Enhancement
March 11, 2026
著者: Stefanos Pasios, Nikos Nikolaidis
cs.AI
要旨
生成的モデルは、コンピュータビジョンアルゴリズムの学習用に合成データの写真的リアリズムを高めるため広く利用されている。しかし、これらのモデルは視覚的アーティファクトをしばしば導入し、アルゴリズムの精度を低下させるほか、高い計算リソースを必要とするため、リアルタイム学習や評価シナリオへの適用が制限されている。本論文では、U-Net構造のジェネレータに基づく軽量な画像変換手法であるHybrid Patch Enhanced Realism Generative Adversarial Network（HyPER-GAN）を提案する。本モデルは、合成画像と写真的リアリズム強化画像のペアを用いて学習され、視覚的リアリズムと意味的一貫性を改善するために実世界データから抽出したマッチングパッチを組み込んだハイブリッド学習戦略によって補完されている。実験結果により、HyPER-GANが推論遅延時間、視覚的リアリズム、意味的ロバスト性において、最先端のペア画像変換手法を凌駕することが実証された。さらに、提案するハイブリッド学習戦略が、合成画像と写真的リアリズム強化画像のペアのみでモデルを学習した場合と比較して、視覚的品質と意味的一貫性を実際に改善することが示されている。コードと事前学習済みモデルはhttps://github.com/stefanos50/HyPER-GAN で公開されている。
English
Generative models are widely employed to enhance the photorealism of synthetic data for training computer vision algorithms. However, they often introduce visual artifacts that degrade the accuracy of these algorithms and require high computational resources, limiting their applicability in real-time training or evaluation scenarios. In this paper, we propose Hybrid Patch Enhanced Realism Generative Adversarial Network (HyPER-GAN), a lightweight image-to-image translation method based on a U-Net-style generator designed for real-time inference. The model is trained using paired synthetic and photorealism-enhanced images, complemented by a hybrid training strategy that incorporates matched patches from real-world data to improve visual realism and semantic consistency. Experimental results demonstrate that HyPER-GAN outperforms state-of-the-art paired image-to-image translation methods in terms of inference latency, visual realism, and semantic robustness. Moreover, it is illustrated that the proposed hybrid training strategy indeed improves visual quality and semantic consistency compared to training the model solely with paired synthetic and photorealism-enhanced images. Code and pretrained models are publicly available for download at: https://github.com/stefanos50/HyPER-GAN