WildRelight: Een realistische benchmark en fysica-gestuurde aanpassing voor enkelbeeld-herbelichting

Samenvatting

Recente methoden voor herbelichting van enkele afbeeldingen, aangedreven door geavanceerde generatieve modellen, hebben een indrukwekkend fotorealisme bereikt op synthetische benchmarks. Hun effectiviteit in het complexe visuele landschap van de echte wereld blijft echter grotendeels onbevestigd. Er bestaat een kritische leemte, aangezien huidige datasets typisch zijn ontworpen voor meervoudige reconstructie en niet inspelen op de unieke uitdagingen van herbelichting van enkele afbeeldingen. Om deze synthetisch-naar-realiteit-kloof te overbruggen, introduceren we WildRelight, de eerste in-het-wild-dataset die specifiek is gecreëerd voor het evalueren van modellen voor herbelichting van enkele afbeeldingen. WildRelight omvat een diverse verzameling van hoge-resolutie buitenscènes, vastgelegd onder strikt uitgelijnde, in de tijd variërende natuurlijke belichtingen, elk gepaard met een omgevingskaart met hoog dynamisch bereik. Met behulp van deze data stellen we een rigoureuze benchmark op die onthult dat moderne modellen getraind op synthetische data lijden onder ernstige domeinverschuivingen. De strikt uitgelijnde temporele structuur van WildRelight maakt een nieuw paradigma voor domeinaanpassing mogelijk. We demonstreren dit door een natuurkundig gestuurd inferentiekader te introduceren dat de vastgelegde natuurlijke lichtevolutie benut als een zelfgestuurde beperking. Door Diffusion Posterior Sampling (DPS) te integreren met temporele Sampling-Aware Test-Time Adaptation (TTA), tonen we aan dat de dataset het mogelijk maakt dat synthetische modellen zich al doende aanpassen aan real-world-statistieken, waardoor de onhandelbare sim-to-real-uitdaging wordt omgezet in een hanteerbare zelfgestuurde taak. De dataset en code zullen openbaar beschikbaar worden gesteld om robuust, natuurkundig gefundeerd herbelichtingsonderzoek te bevorderen.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.