Vedere il Mondo attraverso i Tuoi Occhi

Seeing the World through Your Eyes

June 15, 2023

Autori: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang

cs.AI

Abstract

La natura riflettente dell'occhio umano è una fonte di informazioni sottovalutata riguardo all'aspetto del mondo che ci circonda. Acquisendo immagini degli occhi di una persona in movimento, possiamo raccogliere molteplici visualizzazioni di una scena al di fuori della linea di vista diretta della fotocamera attraverso i riflessi negli occhi. In questo articolo, ricostruiamo una scena 3D oltre la linea di vista della fotocamera utilizzando immagini ritratto che contengono riflessi oculari. Questo compito è impegnativo a causa di 1) la difficoltà di stimare con precisione le pose degli occhi e 2) l'aspetto intrecciato dell'iride dell'occhio e dei riflessi della scena. Il nostro metodo affina congiuntamente le pose della cornea, il campo di radianza che rappresenta la scena e la texture dell'iride dell'osservatore. Proponiamo inoltre un semplice prior di regolarizzazione sul pattern della texture dell'iride per migliorare la qualità della ricostruzione. Attraverso vari esperimenti su acquisizioni sintetiche e del mondo reale che includono persone con diversi colori degli occhi, dimostriamo la fattibilità del nostro approccio per ricostruire scene 3D utilizzando i riflessi oculari.

English

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera's direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera's line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer's eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.