SF3D : Reconstruction stable et rapide de maillages 3D avec dépliage UV et séparation de l'éclairage

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

Auteurs: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

Résumé

Nous présentons SF3D, une nouvelle méthode permettant la reconstruction rapide et de haute qualité de maillages d'objets texturés à partir d'une seule image en seulement 0,5 seconde. Contrairement à la plupart des approches existantes, SF3D est explicitement entraîné pour la génération de maillages, intégrant une technique rapide de dépliage UV qui permet une génération rapide de textures plutôt que de s'appuyer sur des couleurs de vertex. La méthode apprend également à prédire les paramètres de matériaux et les cartes normales pour améliorer la qualité visuelle des maillages 3D reconstruits. De plus, SF3D intègre une étape de suppression d'éclairage pour éliminer efficacement les effets d'éclairage à basse fréquence, garantissant que les maillages reconstruits peuvent être facilement utilisés dans de nouvelles conditions d'éclairage. Les expériences démontrent la performance supérieure de SF3D par rapport aux techniques existantes. Page du projet : https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io