CCMNet: Gebruik van Gecalibreerde Kleurcorrectiematrices voor Kleurconstantie tussen Camera's

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Auteurs: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Samenvatting

Computationale kleurconstantie, of witbalans, is een belangrijk onderdeel van de beeldverwerkingsprocessor (ISP) van een camera dat kleurzweem door scèneverlichting corrigeert. Omdat deze bewerking plaatsvindt in de cameraspecifieke raw-kleurruimte, moeten witbalansalgoritmen zich aanpassen aan verschillende camera's. Dit artikel introduceert een op leren gebaseerde methode voor kruiscamera kleurconstantie die generaliseert naar nieuwe camera's zonder hertraining. Onze methode maakt gebruik van vooraf gekalibreerde kleurcorrectiematrices (CCM's) die beschikbaar zijn op ISP's en die de raw-kleurruimte van de camera afbeelden naar een standaardruimte (bijv. CIE XYZ). Onze methode gebruikt deze CCM's om vooraf gedefinieerde verlichtingskleuren (bijv. langs de Planckiaanse locus) om te zetten naar de raw-ruimte van de testcamera. De gemapte lichtbronnen worden gecodeerd in een compacte camera fingerprint embedding (CFE) die het netwerk in staat stelt zich aan te passen aan onbekende camera's. Om overfitting te voorkomen vanwege het beperkte aantal camera's en CCM's tijdens de training, introduceren we een data-augmentatietechniek die interpolatie toepast tussen camera's en hun CCM's. Experimentele resultaten over meerdere datasets en backbone-architecturen laten zien dat onze methode state-of-the-art kruiscamera kleurconstantie bereikt, terwijl deze lichtgewicht blijft en alleen gebruikmaakt van gegevens die direct beschikbaar zijn in camera-ISP's.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.