Ver el mundo a través de tus ojos
Seeing the World through Your Eyes
June 15, 2023
Autores: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang
cs.AI
Resumen
La naturaleza reflectante del ojo humano es una fuente de información subestimada sobre cómo se ve el mundo que nos rodea. Al capturar imágenes de los ojos de una persona en movimiento, podemos recolectar múltiples vistas de una escena fuera del campo de visión directo de la cámara a través de los reflejos en los ojos. En este artículo, reconstruimos una escena 3D más allá de la línea de visión de la cámara utilizando imágenes de retrato que contienen reflejos en los ojos. Esta tarea es desafiante debido a 1) la dificultad de estimar con precisión las poses de los ojos y 2) la apariencia entrelazada del iris del ojo y los reflejos de la escena. Nuestro método refina conjuntamente las poses de la córnea, el campo de radiancia que representa la escena y la textura del iris del observador. Además, proponemos un prior de regularización simple sobre el patrón de textura del iris para mejorar la calidad de la reconstrucción. A través de varios experimentos en capturas sintéticas y del mundo real que incluyen personas con diversos colores de ojos, demostramos la viabilidad de nuestro enfoque para recuperar escenas 3D utilizando reflejos en los ojos.
English
The reflective nature of the human eye is an underappreciated source of
information about what the world around us looks like. By imaging the eyes of a
moving person, we can collect multiple views of a scene outside the camera's
direct line of sight through the reflections in the eyes. In this paper, we
reconstruct a 3D scene beyond the camera's line of sight using portrait images
containing eye reflections. This task is challenging due to 1) the difficulty
of accurately estimating eye poses and 2) the entangled appearance of the eye
iris and the scene reflections. Our method jointly refines the cornea poses,
the radiance field depicting the scene, and the observer's eye iris texture. We
further propose a simple regularization prior on the iris texture pattern to
improve reconstruction quality. Through various experiments on synthetic and
real-world captures featuring people with varied eye colors, we demonstrate the
feasibility of our approach to recover 3D scenes using eye reflections.