WildRelight: Ein realweltlicher Benchmark und physikgeleitete Adaption für das Einzelbild-Relighting

WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

May 12, 2026

Autoren: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

cs.AI

Zusammenfassung

Aktuelle Methoden zur Neuausleuchtung einzelner Bilder, gestützt durch fortschrittliche generative Modelle, erzielen auf synthetischen Benchmark-Datensätzen eine beeindruckende Fotorealismus. Ihre Wirksamkeit in der komplexen visuellen Landschaft der realen Welt bleibt jedoch weitgehend ungeprüft. Es besteht eine kritische Lücke, da aktuelle Datensätze typischerweise für die Multiview-Rekonstruktion konzipiert sind und die besonderen Herausforderungen der Einzelbild-Neuausleuchtung nicht adressieren. Um diese synthetisch-reale Lücke zu schließen, führen wir WildRelight ein, den ersten In-the-Wild-Datensatz, der speziell für die Evaluierung von Einzelbild-Neuausleuchtungsmodellen entwickelt wurde. WildRelight bietet eine vielfältige Sammlung hochauflösender Außenszenen, die unter streng ausgerichteten, zeitlich variierenden natürlichen Beleuchtungen aufgenommen wurden, jeweils gepaart mit einer High-Dynamic-Range-Umgebungskarte. Anhand dieser Daten etablieren wir einen rigorosen Benchmark, der zeigt, dass hochmoderne, auf synthetischen Daten trainierte Modelle unter schweren Domänenverschiebungen leiden. Die streng ausgerichtete zeitliche Struktur von WildRelight ermöglicht ein neues Paradigma für die Domänenanpassung. Wir demonstrieren dies durch die Einführung eines physikbasierten Inferenzframeworks, das die aufgezeichnete natürliche Lichtentwicklung als selbstüberwachte Einschränkung nutzt. Durch die Integration von Diffusion Posterior Sampling (DPS) mit zeitlicher Sampling-Aware Test-Time Adaptation (TTA) zeigen wir, dass der Datensatz synthetischen Modellen erlaubt, sich im laufenden Betrieb an reale Statistiken anzupassen – und so die unbeherrschbare Sim-to-Real-Herausforderung in eine handhabbare selbstüberwachte Aufgabe zu verwandeln. Der Datensatz und der Code werden öffentlich zugänglich gemacht, um robuste, physikalisch fundierte Neuausleuchtungsforschung zu fördern.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.