Revisitando a Fusão de Imagens para Correção de Balanço de Brancos Multi-Iluminante

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

Autores: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

Resumo

A correção do balanço de brancos (WB) em cenas com múltiplas fontes de iluminação continua sendo um desafio persistente na visão computacional. Métodos recentes exploraram abordagens baseadas em fusão, onde uma rede neural combina linearmente múltiplas versões sRGB de uma imagem de entrada, cada uma processada com predefinições de WB estabelecidas. No entanto, demonstramos que esses métodos são subótimos para cenários comuns de múltiplas iluminações. Além disso, os métodos existentes baseados em fusão dependem de conjuntos de dados sRGB de WB que carecem de imagens dedicadas a múltiplas iluminações, limitando tanto o treinamento quanto a avaliação. Para enfrentar esses desafios, introduzimos duas contribuições principais. Primeiro, propomos um modelo eficiente baseado em transformers que captura efetivamente as dependências espaciais entre as predefinições de WB sRGB, melhorando substancialmente as técnicas de fusão linear. Segundo, apresentamos um conjunto de dados em larga escala de múltiplas iluminações, composto por mais de 16.000 imagens sRGB renderizadas com cinco configurações diferentes de WB, juntamente com imagens corrigidas de WB. Nosso método alcança uma melhoria de até 100% em relação às técnicas existentes em nosso novo conjunto de dados de fusão de imagens com múltiplas iluminações.

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.