SHINOBI: Forma e Illuminazione mediante Decomposizione Neurale di Oggetti tramite Ottimizzazione BRDF in Ambienti Non Controllati

Abstract

Presentiamo SHINOBI, un framework end-to-end per la ricostruzione di forma, materiale e illuminazione a partire da immagini di oggetti acquisite con condizioni di illuminazione, posa e sfondo variabili. Il rendering inverso di un oggetto basato su collezioni di immagini non vincolate rappresenta una sfida di lunga data nel campo della computer vision e della grafica, richiedendo un'ottimizzazione congiunta di forma, radianza e posa. Dimostriamo che una rappresentazione implicita della forma basata su una codifica hash multi-risoluzione consente una ricostruzione della forma più rapida e robusta, con un'ottimizzazione congiunta dell'allineamento della fotocamera che supera i lavori precedenti. Inoltre, per abilitare la modifica dell'illuminazione e della riflettanza dell'oggetto (ovvero del materiale), ottimizziamo congiuntamente il BRDF e l'illuminazione insieme alla forma dell'oggetto. Il nostro metodo è indipendente dalla classe e funziona su collezioni di immagini di oggetti in contesti reali, producendo asset 3D riluminabili per diversi casi d'uso come AR/VR, film, giochi, ecc. Pagina del progetto: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

English

We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object's shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

SHINOBI: Forma e Illuminazione mediante Decomposizione Neurale di Oggetti tramite Ottimizzazione BRDF in Ambienti Non Controllati

SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

Abstract

Support