당신의 눈으로 세상을 보기

초록

인간 눈의 반사 특성은 우리 주변 세계가 어떻게 보이는지에 대한 정보의 소스로서 과소평가되어 왔습니다. 움직이는 사람의 눈을 이미지화함으로써, 우리는 카메라의 직접적인 시야 밖에 있는 장면의 여러 관점을 눈의 반사를 통해 수집할 수 있습니다. 본 논문에서는 눈 반사가 포함된 초상 이미지를 사용하여 카메라의 시야 밖에 있는 3D 장면을 재구성합니다. 이 작업은 1) 눈의 자세를 정확하게 추정하는 것의 어려움과 2) 눈 홍채와 장면 반사의 복잡한 외관 때문에 도전적입니다. 우리의 방법은 각막 자세, 장면을 묘사하는 광도장(radiance field), 그리고 관찰자의 눈 홍채 질감을 함께 정제합니다. 또한, 재구성 품질을 향상시키기 위해 홍채 질감 패턴에 대한 간단한 정규화 사전(regularization prior)을 제안합니다. 다양한 눈 색깔을 가진 사람들을 포함한 합성 및 실제 촬영 데이터에 대한 다양한 실험을 통해, 우리는 눈 반사를 사용하여 3D 장면을 복구하는 우리의 접근법의 실현 가능성을 입증합니다.

English

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera's direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera's line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer's eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.

당신의 눈으로 세상을 보기

Seeing the World through Your Eyes

초록

Support