SHINOBI : Forme et Illumination par Décomposition Neuronale d'Objets via Optimisation de BRDF en Conditions Réelles

SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

January 18, 2024

Auteurs: Andreas Engelhardt, Amit Raj, Mark Boss, Yunzhi Zhang, Abhishek Kar, Yuanzhen Li, Deqing Sun, Ricardo Martin Brualla, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani

cs.AI

Résumé

Nous présentons SHINOBI, un framework de bout en bout pour la reconstruction de la forme, des matériaux et de l'éclairage à partir d'images d'objets capturées avec des variations d'éclairage, de pose et de fond. Le rendu inverse d'un objet basé sur des collections d'images non contraintes constitue un défi de longue date en vision par ordinateur et en infographie, nécessitant une optimisation conjointe de la forme, de la radiance et de la pose. Nous démontrons qu'une représentation implicite de la forme basée sur un encodage de hachage multi-résolution permet une reconstruction de forme plus rapide et robuste avec une optimisation conjointe de l'alignement de la caméra, surpassant les travaux précédents. De plus, pour permettre l'édition de l'éclairage et de la réflectance de l'objet (c'est-à-dire le matériau), nous optimisons conjointement le BRDF et l'éclairage avec la forme de l'objet. Notre méthode est indépendante de la classe et fonctionne sur des collections d'images d'objets en conditions réelles pour produire des actifs 3D relightables pour plusieurs cas d'utilisation tels que la RA/RV, les films, les jeux, etc. Page du projet : https://shinobi.aengelhardt.com Vidéo : https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

English

We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object's shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be