CCMNet : Exploitation des matrices de correction des couleurs calibrées pour la constance des couleurs inter-caméras

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Auteurs: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Résumé

La constance des couleurs computationnelle, ou équilibrage des blancs, est un module clé du processeur de signal d'image (ISP) d'un appareil photo qui corrige les dominantes de couleur dues à l'éclairage de la scène. Comme cette opération s'effectue dans l'espace colorimétrique brut spécifique à l'appareil, les algorithmes d'équilibrage des blancs doivent s'adapter à différents appareils. Cet article présente une méthode basée sur l'apprentissage pour la constance des couleurs inter-appareils, capable de généraliser à de nouveaux appareils sans nécessiter de réentraînement. Notre méthode exploite les matrices de correction de couleur (CCM) pré-calibrées disponibles sur les ISP, qui transforment l'espace colorimétrique brut de l'appareil en un espace standard (par exemple, CIE XYZ). Notre méthode utilise ces CCM pour projeter des couleurs d'éclairage prédéfinies (c'est-à-dire le long du locus de Planck) dans l'espace brut de l'appareil testé. Les illuminants projetés sont encodés dans un embedding compact d'empreinte d'appareil (CFE), permettant au réseau de s'adapter à des appareils non vus. Pour éviter le surajustement dû au nombre limité d'appareils et de CCM pendant l'entraînement, nous introduisons une technique d'augmentation de données qui interpole entre les appareils et leurs CCM. Les résultats expérimentaux sur plusieurs jeux de données et architectures montrent que notre méthode atteint des performances de pointe en constance des couleurs inter-appareils, tout en restant légère et en s'appuyant uniquement sur des données facilement disponibles dans les ISP des appareils photo.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.