Herziening van beeldfusie voor witbalanscorrectie bij meerdere lichtbronnen

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

Auteurs: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

Samenvatting

Witbalanscorrectie (WB) in scènes met meerdere lichtbronnen blijft een hardnekkige uitdaging in computervisie. Recente methoden hebben fusiegebaseerde benaderingen onderzocht, waarbij een neuraal netwerk meerdere sRGB-versies van een invoerbeeld lineair combineert, elk verwerkt met vooraf gedefinieerde WB-instellingen. Wij tonen echter aan dat deze methoden suboptimaal zijn voor veelvoorkomende scenario's met meerdere lichtbronnen. Bovendien vertrouwen bestaande fusiegebaseerde methoden op sRGB WB-datasets die geen specifieke afbeeldingen met meerdere lichtbronnen bevatten, wat zowel de training als de evaluatie beperkt. Om deze uitdagingen aan te pakken, introduceren we twee belangrijke bijdragen. Ten eerste stellen we een efficiënt transformermodel voor dat ruimtelijke afhankelijkheden tussen sRGB WB-instellingen effectief vastlegt, wat een aanzienlijke verbetering biedt ten opzichte van lineaire fusietechnieken. Ten tweede introduceren we een grootschalige dataset met meerdere lichtbronnen, bestaande uit meer dan 16.000 sRGB-afbeeldingen gerenderd met vijf verschillende WB-instellingen, samen met WB-gecorrigeerde afbeeldingen. Onze methode behaalt tot 100% verbetering ten opzichte van bestaande technieken op onze nieuwe dataset voor beeldfusie met meerdere lichtbronnen.

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.