WildRelight: Um Benchmark do Mundo Real e Adaptação Guiada por Física para Reiluminação de Imagem Única

Resumo

Métodos recentes de reiluminação de imagem única, impulsionados por modelos generativos avançados, alcançaram fotorrealismo impressionante em referenciais sintéticos. No entanto, sua eficácia no complexo panorama visual do mundo real permanece amplamente não verificada. Existe uma lacuna crítica, uma vez que os conjuntos de dados atuais são tipicamente projetados para reconstrução multivista e não abordam os desafios únicos da reiluminação de imagem única. Para preencher essa lacuna sintético-real, introduzimos o WildRelight, o primeiro conjunto de dados in-the-wild especificamente criado para avaliar modelos de reiluminação de imagem única. O WildRelight apresenta uma coleção diversa de cenas externas de alta resolução, capturadas sob iluminações naturais estritamente alinhadas e temporalmente variáveis, cada uma pareada com um mapa de ambiente de alto intervalo dinâmico. Usando esses dados, estabelecemos um referencial rigoroso que revela que modelos de última geração treinados em dados sintéticos sofrem graves desvios de domínio. A estrutura temporal estritamente alinhada do WildRelight possibilita um novo paradigma para adaptação de domínio. Demonstramos isso introduzindo uma estrutura de inferência guiada por física que aproveita a evolução natural da luz capturada como uma restrição autossupervisionada. Ao integrar a Amostragem Posterior por Difusão (DPS) com a Adaptação Temporal em Tempo de Teste Ciente da Amostragem (TTA), mostramos que o conjunto de dados permite que modelos sintéticos se alinhem dinamicamente com estatísticas do mundo real, transformando o desafio intratável de sim-para-real em uma tarefa autossupervisionada tratável. O conjunto de dados e o código serão disponibilizados publicamente para fomentar pesquisas robustas e fundamentadas fisicamente em reiluminação.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.