SHINOBI: Form und Beleuchtung durch neuronale Objektzerlegung mittels BRDF-Optimierung in natürlichen Umgebungen
SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild
January 18, 2024
Autoren: Andreas Engelhardt, Amit Raj, Mark Boss, Yunzhi Zhang, Abhishek Kar, Yuanzhen Li, Deqing Sun, Ricardo Martin Brualla, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani
cs.AI
Zusammenfassung
Wir präsentieren SHINOBI, ein End-to-End-Framework für die Rekonstruktion von Form, Material und Beleuchtung aus Objektbildern, die unter variierenden Licht-, Pose- und Hintergrundbedingungen aufgenommen wurden. Die inverse Darstellung eines Objekts basierend auf ungezwungenen Bildsammlungen ist eine langjährige Herausforderung in der Computer Vision und Grafik und erfordert eine gemeinsame Optimierung von Form, Strahlung und Pose. Wir zeigen, dass eine implizite Formdarstellung basierend auf einer Multi-Resolution-Hash-Kodierung eine schnellere und robuste Formrekonstruktion mit gemeinsamer Kameraausrichtungsoptimierung ermöglicht, die bisherige Arbeiten übertrifft. Darüber hinaus optimieren wir gemeinsam BRDF und Beleuchtung zusammen mit der Form des Objekts, um die Bearbeitung von Beleuchtung und Objektreflexion (d.h. Material) zu ermöglichen. Unsere Methode ist klassenagnostisch und funktioniert mit in-the-wild Bildsammlungen von Objekten, um beleuchtbare 3D-Assets für verschiedene Anwendungsfälle wie AR/VR, Filme, Spiele usw. zu erstellen. Projektseite: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be
English
We present SHINOBI, an end-to-end framework for the reconstruction of shape,
material, and illumination from object images captured with varying lighting,
pose, and background. Inverse rendering of an object based on unconstrained
image collections is a long-standing challenge in computer vision and graphics
and requires a joint optimization over shape, radiance, and pose. We show that
an implicit shape representation based on a multi-resolution hash encoding
enables faster and robust shape reconstruction with joint camera alignment
optimization that outperforms prior work. Further, to enable the editing of
illumination and object reflectance (i.e. material) we jointly optimize BRDF
and illumination together with the object's shape. Our method is class-agnostic
and works on in-the-wild image collections of objects to produce relightable 3D
assets for several use cases such as AR/VR, movies, games, etc. Project page:
https://shinobi.aengelhardt.com Video:
https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be