Vendo o Mundo Através dos Seus Olhos

Seeing the World through Your Eyes

June 15, 2023

Autores: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang

cs.AI

Resumo

A natureza reflexiva do olho humano é uma fonte de informação subestimada sobre a aparência do mundo ao nosso redor. Ao capturar imagens dos olhos de uma pessoa em movimento, podemos coletar múltiplas visões de uma cena fora da linha de visão direta da câmera por meio dos reflexos nos olhos. Neste artigo, reconstruímos uma cena 3D além da linha de visão da câmera utilizando imagens de retrato que contêm reflexos nos olhos. Essa tarefa é desafiadora devido a 1) a dificuldade de estimar com precisão as poses dos olhos e 2) a aparência entrelaçada da íris do olho e dos reflexos da cena. Nosso método refina conjuntamente as poses da córnea, o campo de radiação que descreve a cena e a textura da íris do observador. Além disso, propomos um prior de regularização simples no padrão de textura da íris para melhorar a qualidade da reconstrução. Por meio de diversos experimentos com capturas sintéticas e do mundo real, envolvendo pessoas com diferentes cores de olhos, demonstramos a viabilidade de nossa abordagem para recuperar cenas 3D utilizando reflexos nos olhos.

English

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera's direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera's line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer's eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.