De Wereld Zien door Jouw Ogen

Seeing the World through Your Eyes

June 15, 2023

Auteurs: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang

cs.AI

Samenvatting

Het reflecterende karakter van het menselijk oog is een ondergewaardeerde bron van informatie over hoe de wereld om ons heen eruitziet. Door de ogen van een bewegend persoon vast te leggen, kunnen we meerdere perspectieven van een scène buiten het directe gezichtsveld van de camera verzamelen via de reflecties in de ogen. In dit artikel reconstrueren we een 3D-scène buiten het gezichtsveld van de camera met behulp van portretfoto's die oogreflecties bevatten. Deze taak is uitdagend vanwege 1) de moeilijkheid om oogposities nauwkeurig te schatten en 2) de verstrengelde verschijning van de oogiris en de scèmereflecties. Onze methode verfijnt gezamenlijk de hoornvliesposities, het stralingsveld dat de scène weergeeft, en de textuur van de iris van de waarnemer. We stellen verder een eenvoudige regularisatieprior voor op het irispatroon om de reconstructiekwaliteit te verbeteren. Door middel van verschillende experimenten met synthetische en real-world opnames van mensen met verschillende oogkleuren, tonen we de haalbaarheid aan van onze aanpak om 3D-scènes te reconstrueren met behulp van oogreflecties.

English

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera's direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera's line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer's eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.