Пересмотр методов слияния изображений для коррекции баланса белого при многократном освещении

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

Авторы: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

Аннотация

Коррекция баланса белого (WB) в сценах с несколькими источниками освещения остается сложной задачей в области компьютерного зрения. Недавние методы исследовали подходы, основанные на слиянии, где нейронная сеть линейно комбинирует несколько версий входного изображения в формате sRGB, каждая из которых обработана с предустановленными настройками WB. Однако мы показываем, что эти методы неоптимальны для типичных сценариев с несколькими источниками освещения. Кроме того, существующие методы слияния опираются на наборы данных WB в формате sRGB, которые не содержат специализированных изображений с несколькими источниками освещения, что ограничивает как обучение, так и оценку. Для решения этих проблем мы представляем два ключевых вклада. Во-первых, мы предлагаем эффективную модель на основе трансформеров, которая эффективно учитывает пространственные зависимости между предустановками WB в формате sRGB, значительно улучшая линейные методы слияния. Во-вторых, мы представляем крупномасштабный набор данных с несколькими источниками освещения, содержащий более 16 000 изображений в формате sRGB, обработанных с пятью различными настройками WB, а также изображения с корректированным балансом белого. Наш метод демонстрирует улучшение до 100% по сравнению с существующими техниками на новом наборе данных для слияния изображений с несколькими источниками освещения.

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.