CCMNet: Использование калиброванных матриц цветокоррекции для обеспечения постоянства цвета между камерами

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

Авторы: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

Аннотация

Вычислительное постоянство цвета, или баланс белого, является ключевым модулем в процессоре обработки изображений (ISP) камеры, который корректирует цветовые оттенки, вызванные освещением сцены. Поскольку эта операция выполняется в специфичном для камеры цветовом пространстве RAW, алгоритмы баланса белого должны адаптироваться к различным камерам. В данной статье представлен метод на основе обучения для кросс-камерного постоянства цвета, который обобщается на новые камеры без необходимости переобучения. Наш метод использует предварительно калиброванные матрицы цветокоррекции (CCM), доступные в ISP, которые отображают цветовое пространство RAW камеры в стандартное пространство (например, CIE XYZ). Наш метод использует эти CCM для преобразования предопределенных цветов освещения (например, вдоль планковского локуса) в цветовое пространство RAW тестовой камеры. Преобразованные источники освещения кодируются в компактное встраивание "отпечатка камеры" (CFE), что позволяет сети адаптироваться к неизвестным камерам. Чтобы предотвратить переобучение из-за ограниченного количества камер и CCM во время обучения, мы вводим технику аугментации данных, которая интерполирует между камерами и их CCM. Экспериментальные результаты на нескольких наборах данных и архитектурах показывают, что наш метод достигает передовых результатов в кросс-камерном постоянстве цвета, оставаясь легковесным и используя только данные, доступные в ISP камер.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.