CCMNet: Utilizando Matrizes de Correção de Cores Calibradas para Constância de Cores entre Câmeras

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Autores: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Resumo

A constância de cor computacional, ou balanceamento de branco, é um módulo fundamental no processador de sinal de imagem (ISP) de uma câmera que corrige distorções de cor causadas pela iluminação da cena. Como essa operação ocorre no espaço de cor bruta específico da câmera, os algoritmos de balanceamento de branco devem se adaptar a diferentes câmeras. Este artigo apresenta um método baseado em aprendizado para constância de cor entre câmeras que generaliza para novas câmeras sem necessidade de retreinamento. Nosso método aproveita matrizes de correção de cor (CCMs) pré-calibradas disponíveis nos ISPs, que mapeiam o espaço de cor bruta da câmera para um espaço padrão (por exemplo, CIE XYZ). Nosso método utiliza essas CCMs para transformar cores de iluminação predefinidas (ou seja, ao longo do locus de Planck) no espaço de cor bruta da câmera de teste. Os iluminantes mapeados são codificados em uma incorporação compacta de impressão digital da câmera (CFE) que permite à rede se adaptar a câmeras não vistas anteriormente. Para evitar sobreajuste devido ao número limitado de câmeras e CCMs durante o treinamento, introduzimos uma técnica de aumento de dados que interpola entre câmeras e suas CCMs. Resultados experimentais em vários conjuntos de dados e arquiteturas mostram que nosso método alcança o estado da arte em constância de cor entre câmeras, mantendo-se leve e dependendo apenas de dados prontamente disponíveis nos ISPs das câmeras.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.