Die Welt durch deine Augen sehen

Seeing the World through Your Eyes

June 15, 2023

Autoren: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang

cs.AI

Zusammenfassung

Die reflektierende Natur des menschlichen Auges ist eine unterschätzte Informationsquelle darüber, wie die Welt um uns herum aussieht. Indem wir die Augen einer sich bewegenden Person abbilden, können wir durch die Reflexionen in den Augen mehrere Ansichten einer Szene außerhalb der direkten Sichtlinie der Kamera sammeln. In diesem Papier rekonstruieren wir eine 3D-Szene außerhalb der Sichtlinie der Kamera mithilfe von Porträtbildern, die Augenreflexionen enthalten. Diese Aufgabe ist aufgrund von 1) der Schwierigkeit, die Augenpositionen genau zu schätzen, und 2) der verschränkten Erscheinung der Iris und der Szenenreflexionen herausfordernd. Unsere Methode verfeinert gleichzeitig die Hornhautpositionen, das Radiance Field, das die Szene darstellt, und die Textur der Iris des Beobachters. Wir schlagen außerdem ein einfaches Regularisierungs-Prior für das Iris-Texturmuster vor, um die Rekonstruktionsqualität zu verbessern. Durch verschiedene Experimente mit synthetischen und realen Aufnahmen von Personen mit unterschiedlichen Augenfarben demonstrieren wir die Machbarkeit unseres Ansatzes, 3D-Szenen mithilfe von Augenreflexionen wiederherzustellen.

English

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera's direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera's line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer's eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.