카메라-디스플레이 결합을 통한 색상 패스스루

초록

스마트폰 카메라로 실제 장면을 촬영하여 화면에서 보았을 때, 표시된 이미지는 종종 원본 장면과 색상, 밝기, 대비에서 눈에 띄게 다르다. 이러한 차이는 현대 카메라와 디스플레이 모두에서 상당한 발전이 이루어졌음에도 지속된다. 주요 원인 중 하나는 대부분의 파이프라인이 고차원적인 촬영-디스플레이 과정을 카메라와 디스플레이의 두 단계로 각각 개별 보정한 후, 저차원 색상 변환을 통해 연결함으로써 정보 병목 현상과 불가피한 오류 누적을 초래하기 때문이다. 이러한 시스템적 문제를 해결하기 위해, 우리는 촬영된 이미지에 직접 작동하는 종단 간 학습 프레임워크인 Color Pass-Through를 제안한다. 핵심 통찰은 카메라와 디스플레이를 개별적으로 보정하는 대신 결합된 시스템으로 처리하는 것이다. 카메라와 디스플레이를 결합함으로써 두 가지 실용적 이점이 발생한다: (1) 종단 간 최적화를 통해 실제 장면 전체를 디스플레이로 전달할 수 있고, (2) 완전한 촬영-디스플레이 경로를 통해 각 개별 관찰자에 대해 효율적인 단일 단계 보정이 가능하다. 우리는 디지털 및 인간 관찰자를 모두 사용하여 Color Pass-Through를 검증한다. 대표적인 기준 방법과 비교했을 때, 우리 방법은 5점 척도 사용자 연구에서 평균 +2.0점 향상을 보였고, 정량적 지표에서 2배 이상의 개선을 달성하여 원본 장면의 인지된 색상 재현이 향상되었음을 입증한다.

English

When a real-world scene is captured by a smartphone camera and viewed on its screen, the displayed image often differs noticeably from the original scene in color, brightness, and contrast. This gap persists despite substantial advances in both modern cameras and displays. A key reason is that most pipelines factor the high-dimensional capture-to-display process into two separately calibrated camera and display stages, and then connect them through low-dimensional color transforms, leading to information bottlenecks and inevitable error accumulation. To address this systemic challenge, we propose Color Pass-Through, an end-to-end learned framework that operates directly on captured images. Our key insight is to treat the camera and display as a coupled system rather than calibrating them in isolation. Coupling the camera and display yields two practical advantages: (1) it brings the entire real-world scenes to the display via end-to-end optimization, and (2) it allows efficient one-step calibration for each distinct observer via complete capture-to-display path. We validate Color Pass-Through using both digital and human observers. Compared with representative baselines, our method achieves an average gain of +2.0 points on a 5-point user study and more than 2x improvement on quantitative metrics, demonstrating improved reproduction of the perceived color of the original scene.