ゲームエンジン合成データセットにおけるSim2real外観ギャップ解消のためのハイブリッドアプローチ

A Hybrid Approach for Closing the Sim2real Appearance Gap in Game Engine Synthetic Datasets

May 4, 2026

著者: Stefanos Pasios

cs.AI

要旨

ビデオゲームエンジンは、実世界に展開されるコンピュータビジョンアルゴリズムの学習と評価のために、大量の視覚的合成データセットを生成する重要なソースとなってきた。レイトレーシングなどの技術により現代のゲームエンジンの視覚的忠実度は大幅に向上しているが、合成画像と実世界画像の間には依然として顕著なsim2real（シミュレーションから実世界への）見た目の隔たりが残っており、これが合成データセットの実世界アプリケーションにおける活用を制限している。本レターでは、最先端の画像生成・編集拡散モデル（FLUX.2-4B Klein）が合成データセットの写実性を高める能力を調査し、その性能を従来の画像間変換モデル（REGEN）と比較する。さらに、拡散ベース手法の強力な幾何学・マテリアル変換能力と、画像間変換技術の分布マッチング能力を組み合わせたハイブリッド手法を提案する。実験を通じて、REGENがFLUX.2-4B Kleinを上回る性能を示し、FLUX.2-4B KleinモデルとREGENモデルの両方を組み合わせることで、意味的一貫性を維持しつつ、各モデルを単独で使用する場合よりも優れた視覚的リアリズムが達成できることが実証された。コードは以下で公開されている：https://github.com/stefanos50/Hybrid-Sim2Real

English

Video game engines have been an important source for generating large volumes of visual synthetic datasets for training and evaluating computer vision algorithms that are to be deployed in the real world. While the visual fidelity of modern game engines has been significantly improved with technologies such as ray-tracing, a notable sim2real appearance gap between the synthetic and the real-world images still remains, which limits the utilization of synthetic datasets in real-world applications. In this letter, we investigate the ability of a state-of-the-art image generation and editing diffusion model (FLUX.2-4B Klein) to enhance the photorealism of synthetic datasets and compare its performance against a traditional image-to-image translation model (REGEN). Furthermore, we propose a hybrid approach that combines the strong geometry and material transformations of diffusion-based methods with the distribution-matching capabilities of image-to-image translation techniques. Through experiments, it is demonstrated that REGEN outperforms FLUX.2-4B Klein and that by combining both FLUX.2-4B Klein and REGEN models, better visual realism can be achieved compared to using each model individually, while maintaining semantic consistency. The code is available at: https://github.com/stefanos50/Hybrid-Sim2Real