SF3D: Snelle en stabiele 3D-mesh-reconstructie met UV-ontvouwing en verlichtingsontwarring
SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement
August 1, 2024
Auteurs: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani
cs.AI
Samenvatting
We presenteren SF3D, een nieuwe methode voor snelle en hoogwaardige gereconstrueerde textuurobjecten uit een enkele afbeelding in slechts 0,5 seconden. In tegenstelling tot de meeste bestaande benaderingen, is SF3D expliciet getraind voor meshgeneratie en omvat het een snelle UV-unwrappingtechniek die snelle textuurgeneratie mogelijk maakt in plaats van te vertrouwen op vertexkleuren. De methode leert ook materiaalparameters en normal maps te voorspellen om de visuele kwaliteit van de gereconstrueerde 3D-meshes te verbeteren. Bovendien integreert SF3D een delighting-stap om laagfrequente belichtingseffecten effectief te verwijderen, waardoor de gereconstrueerde meshes eenvoudig kunnen worden gebruikt onder nieuwe belichtingsomstandigheden. Experimenten tonen de superieure prestaties van SF3D aan ten opzichte van de bestaande technieken. Projectpagina: https://stable-fast-3d.github.io
English
We present SF3D, a novel method for rapid and high-quality textured object
mesh reconstruction from a single image in just 0.5 seconds. Unlike most
existing approaches, SF3D is explicitly trained for mesh generation,
incorporating a fast UV unwrapping technique that enables swift texture
generation rather than relying on vertex colors. The method also learns to
predict material parameters and normal maps to enhance the visual quality of
the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to
effectively remove low-frequency illumination effects, ensuring that the
reconstructed meshes can be easily used in novel illumination conditions.
Experiments demonstrate the superior performance of SF3D over the existing
techniques. Project page: https://stable-fast-3d.github.io