WildRelight: 単一画像再照明のための実世界ベンチマークと物理誘導適応

WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

May 12, 2026

著者: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

cs.AI

要旨

近年、高度な生成モデルを活用した単一画像リライティング手法は、合成ベンチマークにおいて印象的なフォトリアリズムを達成している。しかし、実世界の複雑な視覚環境におけるその有効性は、ほとんど検証されていない。現行のデータセットは通常、多視点再構成用に設計されており、単一画像リライティング特有の課題に対応できていないため、重要なギャップが存在する。この合成から実世界へのギャップを埋めるために、我々はWildRelightを導入する。これは、単一画像リライティングモデルを評価するために特別に作成された初の実環境データセットである。WildRelightは、厳密に位置合わせされ時間的に変動する自然照明下で撮影された多様な高解像度屋外シーンを特徴としており、各シーンはハイダイナミックレンジ環境マップとペアになっている。このデータを用いて、合成データで訓練された最先端モデルが深刻なドメインシフトを被っていることを明らかにする厳格なベンチマークを確立する。WildRelightの厳密に位置合わせされた時間構造は、ドメイン適応のための新たなパラダイムを可能にする。我々は、捕捉された自然光の変化を自己教師あり制約として活用する物理誘導推論フレームワークを導入することで、これを実証する。Diffusion Posterior Sampling (DPS) と時間的サンプリング認識テスト時適応 (TTA) を統合することにより、このデータセットによって合成モデルが実世界の統計にオンザフライで適合できるようになり、困難なシミュレーションから実世界への課題を扱いやすい自己教師ありタスクに変換できることを示す。データセットとコードは、堅牢で物理に基づいたリライティング研究を促進するために公開される予定である。

English

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.