Reconsidération de la fusion d'images pour la correction de la balance des blancs en éclairage multiple

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

Auteurs: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

Résumé

La correction de la balance des blancs (WB) dans les scènes comportant plusieurs sources lumineuses reste un défi persistant en vision par ordinateur. Les méthodes récentes ont exploré des approches basées sur la fusion, où un réseau de neurones combine linéairement plusieurs versions sRGB d'une image d'entrée, chacune traitée avec des préréglages de WB prédéfinis. Cependant, nous démontrons que ces méthodes sont sous-optimales pour les scénarios courants à plusieurs illuminants. De plus, les méthodes de fusion existantes s'appuient sur des ensembles de données sRGB de WB qui manquent d'images dédiées à plusieurs illuminants, limitant ainsi à la fois l'entraînement et l'évaluation. Pour relever ces défis, nous introduisons deux contributions clés. Premièrement, nous proposons un modèle efficace basé sur les transformers qui capture efficacement les dépendances spatiales entre les préréglages sRGB de WB, améliorant considérablement les techniques de fusion linéaire. Deuxièmement, nous introduisons un ensemble de données à grande échelle comportant plusieurs illuminants, comprenant plus de 16 000 images sRGB rendues avec cinq réglages de WB différents, ainsi que des images corrigées en WB. Notre méthode atteint une amélioration allant jusqu'à 100 % par rapport aux techniques existantes sur notre nouvel ensemble de données de fusion d'images à plusieurs illuminants.

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.