SF3D: Ricostruzione Stabile e Rapida di Mesh 3D con UV-unwrapping e Disaccoppiamento dell'Illuminazione
SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement
August 1, 2024
Autori: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani
cs.AI
Abstract
Presentiamo SF3D, un metodo innovativo per la ricostruzione rapida e di alta qualità di mesh di oggetti texturizzati a partire da una singola immagine in soli 0,5 secondi. A differenza della maggior parte degli approcci esistenti, SF3D è specificamente addestrato per la generazione di mesh, incorporando una tecnica veloce di UV unwrapping che consente una generazione rapida delle texture anziché basarsi sui colori dei vertici. Il metodo apprende inoltre a prevedere i parametri dei materiali e le mappe normali per migliorare la qualità visiva delle mesh 3D ricostruite. Inoltre, SF3D integra un passaggio di deilluminazione per rimuovere efficacemente gli effetti di illuminazione a bassa frequenza, garantendo che le mesh ricostruite possano essere facilmente utilizzate in nuove condizioni di illuminazione. Gli esperimenti dimostrano la prestazione superiore di SF3D rispetto alle tecniche esistenti. Pagina del progetto: https://stable-fast-3d.github.io
English
We present SF3D, a novel method for rapid and high-quality textured object
mesh reconstruction from a single image in just 0.5 seconds. Unlike most
existing approaches, SF3D is explicitly trained for mesh generation,
incorporating a fast UV unwrapping technique that enables swift texture
generation rather than relying on vertex colors. The method also learns to
predict material parameters and normal maps to enhance the visual quality of
the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to
effectively remove low-frequency illumination effects, ensuring that the
reconstructed meshes can be easily used in novel illumination conditions.
Experiments demonstrate the superior performance of SF3D over the existing
techniques. Project page: https://stable-fast-3d.github.io