게임 엔진 합성 데이터셋의 시뮬레이션-현실 외관 차이 해소를 위한 하이브리드 접근법

A Hybrid Approach for Closing the Sim2real Appearance Gap in Game Engine Synthetic Datasets

May 4, 2026

저자: Stefanos Pasios

cs.AI

초록

비디오 게임 엔진은 현실 세계에 배포될 컴퓨터 비전 알고리즘의 학습 및 평가를 위해 대량의 시각적 합성 데이터셋을 생성하는 중요한 원천이 되어왔습니다. 레이 트레이싱과 같은 기술로 현대 게임 엔진의 시각적 정확도가 크게 향상되었음에도 불구하고, 합성 이미지와 현실 세계 이미지 간에는 여전히 눈에 띄는 sim2real 외관 차이가 존재하며, 이는 합성 데이터셋의 현실 세계 적용을 제한하고 있습니다. 본 논문에서는 최첨단 이미지 생성 및 편집 확산 모델(FLUX.2-4B Klein)이 합성 데이터셋의 사진적 현실감을 향상시키는 능력을 조사하고, 그 성능을 기존의 이미지-이미지 변환 모델(REGEN)과 비교합니다. 더 나아가, 확산 기반 방법의 강력한 기하학적 및 재질 변환 능력과 이미지-이미지 변환 기술의 분포 매칭 능력을 결합한 하이브리드 접근법을 제안합니다. 실험을 통해 REGEN이 FLUX.2-4B Klein보다 성능이 우수하며, FLUX.2-4B Klein과 REGEN 모델을 함께 사용하면 각 모델을 개별적으로 사용하는 것보다 시맨틱 일관성을 유지하면서 더 나은 시각적 현실감을 달성할 수 있음을 입증합니다. 코드는 다음에서 이용 가능합니다: https://github.com/stefanos50/Hybrid-Sim2Real

English

Video game engines have been an important source for generating large volumes of visual synthetic datasets for training and evaluating computer vision algorithms that are to be deployed in the real world. While the visual fidelity of modern game engines has been significantly improved with technologies such as ray-tracing, a notable sim2real appearance gap between the synthetic and the real-world images still remains, which limits the utilization of synthetic datasets in real-world applications. In this letter, we investigate the ability of a state-of-the-art image generation and editing diffusion model (FLUX.2-4B Klein) to enhance the photorealism of synthetic datasets and compare its performance against a traditional image-to-image translation model (REGEN). Furthermore, we propose a hybrid approach that combines the strong geometry and material transformations of diffusion-based methods with the distribution-matching capabilities of image-to-image translation techniques. Through experiments, it is demonstrated that REGEN outperforms FLUX.2-4B Klein and that by combining both FLUX.2-4B Klein and REGEN models, better visual realism can be achieved compared to using each model individually, while maintaining semantic consistency. The code is available at: https://github.com/stefanos50/Hybrid-Sim2Real