CCMNet: Nutzung kalibrierter Farbkorrekturmatrizen für die farbkonstante Bildverarbeitung über verschiedene Kameras hinweg

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Autoren: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Zusammenfassung

Die rechnerische Farbkonstanz, auch Weißabgleich genannt, ist ein zentrales Modul im Bildsignalprozessor (ISP) einer Kamera, das Farbstiche durch die Beleuchtung der Szene korrigiert. Da dieser Vorgang im kameraspezifischen Rohfarbraum stattfindet, müssen Weißabgleichalgorithmen an verschiedene Kameras angepasst werden. Dieses Papier stellt eine lernbasierte Methode für die kameraübergreifende Farbkonstanz vor, die sich auf neue Kameras verallgemeinern lässt, ohne neu trainiert zu werden. Unsere Methode nutzt vorkalibrierte Farbkorrekturmatrizen (CCMs), die in ISPs verfügbar sind und den Rohfarbraum der Kamera in einen Standardraum (z. B. CIE XYZ) abbilden. Unsere Methode verwendet diese CCMs, um vordefinierte Beleuchtungsfarben (z. B. entlang der Planck-Kurve) in den Rohfarbraum der Testkamera zu transformieren. Die abgebildeten Lichtquellen werden in eine kompakte Kamera-Fingerprint-Einbettung (CFE) kodiert, die es dem Netzwerk ermöglicht, sich auf unbekannte Kameras anzupassen. Um Überanpassung aufgrund der begrenzten Anzahl von Kameras und CCMs während des Trainings zu verhindern, führen wir eine Datenaugmentierungstechnik ein, die zwischen Kameras und ihren CCMs interpoliert. Experimentelle Ergebnisse über mehrere Datensätze und Backbones hinweg zeigen, dass unsere Methode den Stand der Technik in der kameraübergreifenden Farbkonstanz erreicht, dabei leichtgewichtig bleibt und sich ausschließlich auf Daten stützt, die in Kamera-ISPs leicht verfügbar sind.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.