WildRelight : Un benchmark du monde réel et une adaptation guidée par la physique pour le rééclairage d'image unique

WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

May 12, 2026

Auteurs: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

cs.AI

Résumé

Les récentes méthodes de rééclairage d'image unique, alimentées par des modèles génératifs avancés, ont atteint un photoréalisme impressionnant sur des benchmarks synthétiques. Cependant, leur efficacité dans le paysage visuel complexe du monde réel reste largement non vérifiée. Il existe un fossé critique, car les ensembles de données actuels sont généralement conçus pour la reconstruction multi-vue et ne répondent pas aux défis uniques du rééclairage d'image unique. Pour combler cet écart entre le synthétique et le réel, nous introduisons WildRelight, le premier ensemble de données en conditions réelles spécifiquement créé pour évaluer les modèles de rééclairage d'image unique. WildRelight propose une collection diversifiée de scènes extérieures haute résolution, capturées sous des illuminations naturelles strictement alignées et variant temporellement, chacune associée à une carte d'environnement à grande gamme dynamique. En utilisant ces données, nous établissons un benchmark rigoureux révélant que les modèles de pointe entraînés sur des données synthétiques souffrent de graves décalages de domaine. La structure temporelle strictement alignée de WildRelight permet un nouveau paradigme pour l'adaptation de domaine. Nous le démontrons en introduisant un cadre d'inférence guidé par la physique qui exploite l'évolution naturelle de la lumière capturée comme contrainte auto-supervisée. En intégrant l'échantillonnage postérieur par diffusion (DPS) avec l'adaptation temporelle au moment du test (TTA) sensible à l'échantillonnage, nous montrons que l'ensemble de données permet aux modèles synthétiques de s'aligner en temps réel sur les statistiques du monde réel, transformant le défi insurmontable du sim-to-real en une tâche auto-supervisée traitable. L'ensemble de données et le code seront mis à disposition du public afin de favoriser une recherche robuste et physiquement fondée sur le rééclairage.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.