CCMNet：キャリブレーションされた色補正行列を活用したクロスカメラ色恒常性

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

著者: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

要旨

計算機的色彩恒常性、またはホワイトバランスは、カメラの画像信号処理プロセッサ（ISP）における重要なモジュールであり、シーン照明による色かぶりを補正します。この操作はカメラ固有のRAWカラースペースで行われるため、ホワイトバランスアルゴリズムは異なるカメラに適応する必要があります。本論文では、再学習なしで新しいカメラに一般化するクロスカメラ色彩恒常性のための学習ベースの手法を紹介します。私たちの手法は、ISPで利用可能な事前較正済みの色補正行列（CCM）を活用し、カメラのRAWカラースペースを標準空間（例：CIE XYZ）にマッピングします。この手法では、これらのCCMを使用して、事前に定義された照明色（例：プランキアン軌跡に沿った色）をテストカメラのRAW空間に変換します。マッピングされた光源は、コンパクトなカメラフィンガープリント埋め込み（CFE）としてエンコードされ、ネットワークが未見のカメラに適応できるようにします。トレーニング中のカメラとCCMの数が限られていることによる過学習を防ぐため、カメラとそのCCMの間を補完するデータ拡張技術を導入します。複数のデータセットとバックボーンにわたる実験結果は、私たちの手法が軽量であり、カメラISPで容易に利用可能なデータのみに依存しながら、最先端のクロスカメラ色彩恒常性を達成することを示しています。

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.