WildRelight: 실세계 벤치마크와 물리 기반 적응을 통한 단일 이미지 재조명

WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

May 12, 2026

저자: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

cs.AI

초록

최근 생성형 모델의 발전을 통해 구현된 단일 이미지 재조명 기법들은 합성 벤치마크에서 인상적인 사실성을 달성했다. 그러나 실제 세계의 복잡한 시각적 환경에서 이들의 효과성은 여전히 검증되지 않은 상태다. 현재 데이터셋은 일반적으로 다중 시점 복원을 위해 설계되어 단일 이미지 재조명의 고유한 도전 과제를 다루지 못하는 결정적 격차가 존재한다. 이러한 합성-실제 간 격차를 해소하기 위해, 우리는 단일 이미지 재조명 모델 평가를 위해 특별히 구축된 최초의 야생 환경 데이터셋인 WildRelight를 소개한다. WildRelight는 엄격하게 정렬되고 시간에 따라 변화하는 자연 조명 조건에서 촬영된 다양한 고해상도 실외 장면들을 포함하며, 각 장면은 고동적 범위 환경 맵과 쌍을 이룬다. 이 데이터를 활용하여, 합성 데이터로 학습된 최신 모델들이 심각한 도메인 변화를 겪는다는 사실을 밝히는 엄격한 벤치마크를 구축한다. WildRelight의 엄격하게 정렬된 시간적 구조는 도메인 적응을 위한 새로운 패러다임을 가능하게 한다. 우리는 포착된 자연광 변화를 자기 지도 제약 조건으로 활용하는 물리 기반 추론 프레임워크를 도입하여 이를 입증한다. 확산 사후 샘플링(DPS)을 시간적 샘플링 인식 테스트 시간 적응(TTA)과 통합함으로써, 데이터셋이 합성 모델이 실시간으로 실제 통계와 정렬되도록 하여 다루기 어려운 시뮬레이션-실제 과제를 다루기 쉬운 자기 지도 작업으로 변환함을 보여준다. 데이터셋과 코드는 공개되어 견고하고 물리적으로 타당한 재조명 연구를 촉진할 것이다.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.