SHINOBI: Vorm en Verlichting met Neurale Objectontleding via BRDF-optimalisatie in de Praktijk
SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild
January 18, 2024
Auteurs: Andreas Engelhardt, Amit Raj, Mark Boss, Yunzhi Zhang, Abhishek Kar, Yuanzhen Li, Deqing Sun, Ricardo Martin Brualla, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani
cs.AI
Samenvatting
We presenteren SHINOBI, een end-to-end framework voor de reconstructie van vorm, materiaal en belichting op basis van objectafbeeldingen die zijn vastgelegd met variërende belichting, pose en achtergrond. Inverse rendering van een object op basis van onbeperkte beeldcollecties is een lang bestaande uitdaging in computervisie en grafische technologie en vereist een gezamenlijke optimalisatie van vorm, radiatie en pose. We tonen aan dat een impliciete vormrepresentatie gebaseerd op een multi-resolutie hash-codering een snellere en robuustere vormreconstructie mogelijk maakt met gezamenlijke camera-uitlijningoptimalisatie die beter presteert dan eerder werk. Verder optimaliseren we, om de bewerking van belichting en objectreflectie (d.w.z. materiaal) mogelijk te maken, BRDF en belichting samen met de vorm van het object. Onze methode is klasse-agnostisch en werkt op in-the-wild beeldcollecties van objecten om relightbare 3D-assets te produceren voor verschillende use cases zoals AR/VR, films, games, enz. Projectpagina: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be
English
We present SHINOBI, an end-to-end framework for the reconstruction of shape,
material, and illumination from object images captured with varying lighting,
pose, and background. Inverse rendering of an object based on unconstrained
image collections is a long-standing challenge in computer vision and graphics
and requires a joint optimization over shape, radiance, and pose. We show that
an implicit shape representation based on a multi-resolution hash encoding
enables faster and robust shape reconstruction with joint camera alignment
optimization that outperforms prior work. Further, to enable the editing of
illumination and object reflectance (i.e. material) we jointly optimize BRDF
and illumination together with the object's shape. Our method is class-agnostic
and works on in-the-wild image collections of objects to produce relightable 3D
assets for several use cases such as AR/VR, movies, games, etc. Project page:
https://shinobi.aengelhardt.com Video:
https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be