あなたの目を通して世界を見る

要旨

人間の目が持つ反射特性は、私たちの周囲の世界の様子を知るための情報源として過小評価されている。移動する人物の目を撮影することで、カメラの直接的な視野外にあるシーンの複数の視点を、目の反射を通じて収集することができる。本論文では、目の反射を含むポートレート画像を用いて、カメラの視野外にある3Dシーンを再構築する。この課題は、1) 目の姿勢を正確に推定する難しさと、2) 目の虹彩とシーンの反射が絡み合った外観という2つの点で困難を伴う。我々の手法では、角膜の姿勢、シーンを描写する放射輝度場、および観察者の虹彩テクスチャを同時に精緻化する。さらに、再構築品質を向上させるために、虹彩テクスチャパターンに対するシンプルな正則化事前分布を提案する。さまざまな目の色を持つ人物を対象とした合成データおよび実世界のキャプチャを用いた実験を通じて、目の反射を用いて3Dシーンを復元する我々のアプローチの実現可能性を実証する。

English

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera's direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera's line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer's eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.

あなたの目を通して世界を見る

Seeing the World through Your Eyes

要旨

Support