CCMNet: 교차 카메라 색상 항상성을 위한 보정된 색상 보정 행렬 활용

CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

April 10, 2025

저자: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim

cs.AI

초록

계산적 색상 항상성 또는 화이트 밸런싱은 카메라의 이미지 신호 처리기(ISP)에서 장면 조명으로 인한 색조를 보정하는 핵심 모듈입니다. 이 작업은 카메라별 원시 색상 공간에서 이루어지기 때문에, 화이트 밸런스 알고리즘은 다양한 카메라에 적응해야 합니다. 본 논문은 재학습 없이 새로운 카메라에 일반화할 수 있는 교차 카메라 색상 항상성을 위한 학습 기반 방법을 소개합니다. 우리의 방법은 ISP에서 사용 가능한 미리 보정된 색상 보정 행렬(CCM)을 활용하며, 이 행렬은 카메라의 원시 색상 공간을 표준 공간(예: CIE XYZ)으로 매핑합니다. 우리의 방법은 이러한 CCM을 사용하여 미리 정의된 조명 색상(즉, 플랑크 궤적을 따라)을 테스트 카메라의 원시 공간으로 변환합니다. 매핑된 조광은 컴팩트한 카메라 지문 임베딩(CFE)으로 인코딩되어 네트워크가 보지 못한 카메라에 적응할 수 있도록 합니다. 훈련 중 제한된 카메라와 CCM으로 인한 과적합을 방지하기 위해, 우리는 카메라와 그들의 CCM 사이를 보간하는 데이터 증강 기술을 도입했습니다. 여러 데이터셋과 백본에 걸친 실험 결과는 우리의 방법이 경량화된 상태에서 카메라 ISP에서 쉽게 사용 가능한 데이터만을 사용하여 최첨단 교차 카메라 색상 항상성을 달성함을 보여줍니다.

English

Computational color constancy, or white balancing, is a key module in a camera's image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera's raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera's raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.