多光源ホワイトバランス補正のための画像融合手法の再検討

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

著者: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

要旨

複数の光源が存在するシーンにおけるホワイトバランス（WB）補正は、コンピュータビジョンにおける未解決の課題として残っています。最近の研究では、ニューラルネットワークが事前定義されたWBプリセットで処理された複数のsRGBバージョンの入力画像を線形にブレンドする融合ベースのアプローチが探求されてきました。しかし、これらの手法は一般的な複数光源シナリオにおいて最適ではないことを実証します。さらに、既存の融合ベース手法は、専用の複数光源画像を欠くsRGB WBデータセットに依存しており、学習と評価の両方を制限しています。これらの課題に対処するため、我々は2つの重要な貢献を紹介します。まず、sRGB WBプリセット間の空間的依存関係を効果的に捉える効率的なTransformerベースのモデルを提案し、線形融合技術を大幅に改善します。次に、5つの異なるWB設定でレンダリングされた16,000枚以上のsRGB画像とWB補正画像を含む大規模な複数光源データセットを導入します。我々の手法は、新しい複数光源画像融合データセットにおいて、既存技術に対して最大100％の改善を達成します。

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.