SF3D: Stabile schnelle 3D-Mesh-Rekonstruktion mit UV-Entfaltung und Beleuchtungsentwirrung

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

Autoren: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

Zusammenfassung

Wir präsentieren SF3D, eine neuartige Methode zur schnellen und hochwertigen rekonstruktion von texturierten Objekt-Meshes aus einem einzigen Bild in nur 0,5 Sekunden. Im Gegensatz zu den meisten bestehenden Ansätzen wird SF3D explizit für die Mesh-Generierung trainiert und integriert eine schnelle UV-Entfaltungstechnik, die eine zügige Texturerzeugung ermöglicht, anstatt auf Vertexfarben zu vertrauen. Die Methode lernt auch, Materialparameter und Normalenkarten vorherzusagen, um die visuelle Qualität der rekonstruierten 3D-Meshes zu verbessern. Darüber hinaus integriert SF3D einen Schritt zur effektiven Entfernung von Beleuchtungseffekten mit niedriger Frequenz, um sicherzustellen, dass die rekonstruierten Meshes problemlos in neuen Beleuchtungsbedingungen verwendet werden können. Experimente zeigen die überlegene Leistung von SF3D gegenüber den bestehenden Techniken. Projektseite: https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io