CCMNet: Aprovechamiento de Matrices de Corrección de Color Calibradas para la Constancia de Color entre Cámaras

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Autores: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Resumen

La constancia de color computacional, o balance de blancos, es un módulo clave en el procesador de señal de imagen (ISP) de una cámara que corrige los tonos de color causados por la iluminación de la escena. Dado que esta operación ocurre en el espacio de color RAW específico de la cámara, los algoritmos de balance de blancos deben adaptarse a diferentes cámaras. Este artículo presenta un método basado en aprendizaje para la constancia de color entre cámaras que generaliza a nuevas cámaras sin necesidad de reentrenamiento. Nuestro método aprovecha las matrices de corrección de color (CCM) precalibradas disponibles en los ISP, que mapean el espacio de color RAW de la cámara a un espacio estándar (por ejemplo, CIE XYZ). Utilizamos estas CCM para transformar colores de iluminación predefinidos (es decir, a lo largo del locus de Planck) al espacio RAW de la cámara de prueba. Los iluminantes mapeados se codifican en una huella digital compacta de la cámara (CFE) que permite a la red adaptarse a cámaras no vistas. Para evitar el sobreajuste debido al número limitado de cámaras y CCM durante el entrenamiento, introducimos una técnica de aumento de datos que interpola entre cámaras y sus CCM. Los resultados experimentales en múltiples conjuntos de datos y arquitecturas muestran que nuestro método alcanza un rendimiento de vanguardia en constancia de color entre cámaras, manteniéndose ligero y dependiendo únicamente de datos fácilmente disponibles en los ISP de las cámaras.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.