カメラ・ディスプレイ連携によるカラーパススルー

要旨

実世界のシーンをスマートフォンのカメラで撮影し、その画面で見ると、表示される画像は色、明るさ、コントラストにおいて元のシーンと顕著に異なることが多い。この乖離は、現代のカメラとディスプレイの双方が大幅に進歩した後もなお存在する。主な原因の一つは、ほとんどのパイプラインが、高次元の撮影から表示までの過程を、個別に較正されたカメラ段階とディスプレイ段階の二つに分割し、その後、低次元の色変換で接続するため、情報のボトルネックと不可避な誤差の蓄積が生じることにある。このシステム全体の課題に取り組むため、我々はColor Pass-Throughを提案する。これは、撮影画像に直接作用するエンドツーエンド学習フレームワークである。我々の主な洞察は、カメラとディスプレイを個別に較正するのではなく、結合されたシステムとして扱うことにある。カメラとディスプレイを結合することで、次の二つの実用的な利点が得られる。(1) エンドツーエンドの最適化により、実世界のシーン全体をディスプレイに再現できる。(2) 撮影から表示までの全経路を一度に較正することで、個々の観察者に対して効率的な一貫較正が可能となる。我々は、デジタル観察者と人間観察者の両方を用いてColor Pass-Throughを検証した。代表的なベースライン手法と比較して、本手法は5段階のユーザースタディにおいて平均+2.0ポイントの向上、定量的指標において2倍以上の改善を達成し、元のシーンの知覚色の再現性が向上したことを示している。

English

When a real-world scene is captured by a smartphone camera and viewed on its screen, the displayed image often differs noticeably from the original scene in color, brightness, and contrast. This gap persists despite substantial advances in both modern cameras and displays. A key reason is that most pipelines factor the high-dimensional capture-to-display process into two separately calibrated camera and display stages, and then connect them through low-dimensional color transforms, leading to information bottlenecks and inevitable error accumulation. To address this systemic challenge, we propose Color Pass-Through, an end-to-end learned framework that operates directly on captured images. Our key insight is to treat the camera and display as a coupled system rather than calibrating them in isolation. Coupling the camera and display yields two practical advantages: (1) it brings the entire real-world scenes to the display via end-to-end optimization, and (2) it allows efficient one-step calibration for each distinct observer via complete capture-to-display path. We validate Color Pass-Through using both digital and human observers. Compared with representative baselines, our method achieves an average gain of +2.0 points on a 5-point user study and more than 2x improvement on quantitative metrics, demonstrating improved reproduction of the perceived color of the original scene.