CCMNet: Sfruttamento delle Matrici di Correzione Colore Calibrate per la Costanza del Colore tra Fotocamere

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Autori: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Abstract

La costanza del colore computazionale, o bilanciamento del bianco, è un modulo chiave nel processore di segnale d'immagine (ISP) di una fotocamera che corregge le dominanti cromatiche causate dall'illuminazione della scena. Poiché questa operazione avviene nello spazio colore raw specifico della fotocamera, gli algoritmi di bilanciamento del bianco devono adattarsi a diverse fotocamere. Questo articolo introduce un metodo basato sull'apprendimento per la costanza del colore cross-camera che generalizza a nuove fotocamere senza necessità di riaddestramento. Il nostro metodo sfrutta le matrici di correzione del colore (CCM) pre-calibrate disponibili sugli ISP, che mappano lo spazio colore raw della fotocamera in uno spazio standard (ad esempio, CIE XYZ). Utilizziamo queste CCM per trasformare i colori di illuminazione predefiniti (ad esempio, lungo il locus di Planck) nello spazio raw della fotocamera in test. Gli illuminanti mappati vengono codificati in un embedding compatto dell'impronta digitale della fotocamera (CFE), che consente alla rete di adattarsi a fotocamere mai viste. Per prevenire l'overfitting dovuto al numero limitato di fotocamere e CCM durante l'addestramento, introduciamo una tecnica di data augmentation che interpola tra fotocamere e le loro CCM. I risultati sperimentali su più dataset e architetture mostrano che il nostro metodo raggiunge lo stato dell'arte nella costanza del colore cross-camera, rimanendo leggero e basandosi solo su dati facilmente disponibili negli ISP delle fotocamere.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.