WildRelight: Un benchmark del mundo real y adaptación guiada por física para la reiluminación de una sola imagen

WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

May 12, 2026

Autores: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

cs.AI

Resumen

Los métodos recientes de reiluminación de una sola imagen, impulsados por modelos generativos avanzados, han logrado un fotorrealismo impresionante en puntos de referencia sintéticos. Sin embargo, su eficacia en el complejo paisaje visual del mundo real sigue siendo en gran medida no verificada. Existe una brecha crítica, ya que los conjuntos de datos actuales suelen estar diseñados para la reconstrucción multi-vista y no logran abordar los desafíos únicos de la reiluminación de una sola imagen. Para cerrar esta brecha sintético-real, presentamos WildRelight, el primer conjunto de datos in-the-wild creado específicamente para evaluar modelos de reiluminación de una sola imagen. WildRelight presenta una colección diversa de escenas exteriores de alta resolución, capturadas bajo iluminaciones naturales estrictamente alineadas y variables en el tiempo, cada una emparejada con un mapa de entorno de alto rango dinámico. Utilizando estos datos, establecemos un punto de referencia riguroso que revela que los modelos de última generación entrenados con datos sintéticos sufren cambios de dominio severos. La estructura temporal estrictamente alineada de WildRelight permite un nuevo paradigma para la adaptación de dominio. Demostramos esto introduciendo un marco de inferencia guiado por la física que aprovecha la evolución de la luz natural capturada como una restricción auto-supervisada. Al integrar el Muestreo Posterior por Difusión (DPS) con la Adaptación en Tiempo de Prueba Consciente del Muestreo (TTA), mostramos que el conjunto de datos permite que los modelos sintéticos se alineen con las estadísticas del mundo real sobre la marcha, transformando el desafío intratable de simulación a real en una tarea auto-supervisada manejable. El conjunto de datos y el código estarán disponibles públicamente para fomentar una investigación de reiluminación robusta y fundamentada físicamente.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.