Voir le monde à travers vos yeux
Seeing the World through Your Eyes
June 15, 2023
Auteurs: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang
cs.AI
Résumé
La nature réfléchissante de l'œil humain est une source d'information sous-estimée sur l'apparence du monde qui nous entoure. En capturant des images des yeux d'une personne en mouvement, nous pouvons collecter plusieurs vues d'une scène située hors du champ de vision direct de la caméra grâce aux réflexions dans les yeux. Dans cet article, nous reconstruisons une scène 3D au-delà de la ligne de vue de la caméra en utilisant des images portrait contenant des réflexions oculaires. Cette tâche est complexe en raison de 1) la difficulté d'estimer avec précision les poses des yeux et 2) l'apparence entrelacée de l'iris de l'œil et des réflexions de la scène. Notre méthode affine conjointement les poses de la cornée, le champ de rayonnement décrivant la scène, et la texture de l'iris de l'observateur. Nous proposons en outre un simple a priori de régularisation sur le motif de texture de l'iris pour améliorer la qualité de la reconstruction. À travers diverses expériences sur des captures synthétiques et réelles mettant en scène des personnes aux couleurs d'yeux variées, nous démontrons la faisabilité de notre approche pour reconstruire des scènes 3D à l'aide des réflexions oculaires.
English
The reflective nature of the human eye is an underappreciated source of
information about what the world around us looks like. By imaging the eyes of a
moving person, we can collect multiple views of a scene outside the camera's
direct line of sight through the reflections in the eyes. In this paper, we
reconstruct a 3D scene beyond the camera's line of sight using portrait images
containing eye reflections. This task is challenging due to 1) the difficulty
of accurately estimating eye poses and 2) the entangled appearance of the eye
iris and the scene reflections. Our method jointly refines the cornea poses,
the radiance field depicting the scene, and the observer's eye iris texture. We
further propose a simple regularization prior on the iris texture pattern to
improve reconstruction quality. Through various experiments on synthetic and
real-world captures featuring people with varied eye colors, we demonstrate the
feasibility of our approach to recover 3D scenes using eye reflections.