Смотреть на мир твоими глазами
Seeing the World through Your Eyes
June 15, 2023
Авторы: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang
cs.AI
Аннотация
Способность человеческого глаза отражать окружающий мир является недооценённым источником информации о том, как выглядит наше окружение. Снимая глаза движущегося человека, мы можем получить множество видов сцены, находящейся за пределами прямой видимости камеры, через отражения в глазах. В данной статье мы восстанавливаем трёхмерную сцену за пределами линии видимости камеры, используя портретные изображения с отражениями в глазах. Эта задача является сложной из-за 1) трудности точного определения положения глаз и 2) переплетённого внешнего вида радужной оболочки глаза и отражений сцены. Наш метод совместно уточняет положение роговицы, радиационное поле, описывающее сцену, и текстуру радужной оболочки глаза наблюдателя. Мы также предлагаем простой регуляризационный априор на текстуру радужной оболочки для улучшения качества реконструкции. В ходе различных экспериментов на синтетических и реальных данных с участием людей с разным цветом глаз мы демонстрируем возможность восстановления трёхмерных сцен с использованием отражений в глазах.
English
The reflective nature of the human eye is an underappreciated source of
information about what the world around us looks like. By imaging the eyes of a
moving person, we can collect multiple views of a scene outside the camera's
direct line of sight through the reflections in the eyes. In this paper, we
reconstruct a 3D scene beyond the camera's line of sight using portrait images
containing eye reflections. This task is challenging due to 1) the difficulty
of accurately estimating eye poses and 2) the entangled appearance of the eye
iris and the scene reflections. Our method jointly refines the cornea poses,
the radiance field depicting the scene, and the observer's eye iris texture. We
further propose a simple regularization prior on the iris texture pattern to
improve reconstruction quality. Through various experiments on synthetic and
real-world captures featuring people with varied eye colors, we demonstrate the
feasibility of our approach to recover 3D scenes using eye reflections.