WildRelight: реальный бенчмарк и физически-ориентированная адаптация для переосвещения одного изображения

WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

May 12, 2026

Авторы: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

cs.AI

Аннотация

Недавние методы переосвещения одного изображения, основанные на передовых генеративных моделях, продемонстрировали впечатляющий фотореализм на синтетических эталонах. Однако их эффективность в сложной визуальной среде реального мира остается в значительной степени непроверенной. Существует критический разрыв, поскольку текущие наборы данных обычно предназначены для многовидовой реконструкции и не учитывают уникальные задачи переосвещения одного изображения. Для преодоления этого разрыва между синтетикой и реальностью мы представляем WildRelight — первый набор данных в естественных условиях, специально созданный для оценки моделей переосвещения одного изображения. WildRelight включает разнообразную коллекцию сцен на открытом воздухе с высоким разрешением, снятых при строго выровненном, изменяющемся во времени естественном освещении, каждому из которых соответствует карта окружения с высоким динамическим диапазоном. Используя эти данные, мы устанавливаем строгий эталон, показывающий, что современные модели, обученные на синтетических данных, страдают от серьезных сдвигов доменов. Строго выровненная временная структура WildRelight открывает новую парадигму для адаптации домена. Мы демонстрируем это, предлагая физически обоснованную структуру вывода, которая использует зафиксированную естественную эволюцию света в качестве самоконтролируемого ограничения. Интегрируя апостериорную выборку диффузии (DPS) с временной адаптацией во время тестирования с учетом выборок (TTA), мы показываем, что набор данных позволяет синтетическим моделям на лету согласовываться с реальными статистическими данными, преобразуя неразрешимую задачу переноса из синтетики в реальность в разрешимую задачу самоконтроля. Набор данных и код будут опубликованы для стимулирования надежных, физически обоснованных исследований в области переосвещения.

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.