SHINOBI: 野外環境におけるBRDF最適化を介したニューラルオブジェクト分解による形状と照明の推定

要旨

本論文では、SHINOBIを紹介します。これは、照明、ポーズ、背景が変化する条件下で撮影された物体画像から、形状、材質、照明を再構築するためのエンドツーエンドフレームワークです。制約のない画像コレクションに基づく物体の逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題であり、形状、放射輝度、ポーズの共同最適化を必要とします。我々は、マルチレゾリューションハッシュエンコーディングに基づく暗黙的な形状表現が、従来の研究を上回る高速かつロバストな形状再構築とカメラアライメント最適化を可能にすることを示します。さらに、照明と物体の反射特性（すなわち材質）の編集を可能にするため、BRDFと照明を物体の形状と共に共同最適化します。本手法はクラスに依存せず、AR/VR、映画、ゲームなど、いくつかのユースケース向けのリライタブルな3Dアセットを生成するために、実世界の物体画像コレクション上で動作します。プロジェクトページ: https://shinobi.aengelhardt.com ビデオ: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

English

We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object's shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

SHINOBI: 野外環境におけるBRDF最適化を介したニューラルオブジェクト分解による形状と照明の推定

SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

要旨

Support