SF3D: Reconstrucción estable y rápida de malla 3D con desenrollado UV y desentrañamiento de iluminación

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

Autores: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

Resumen

Presentamos SF3D, un método novedoso para la reconstrucción rápida y de alta calidad de mallas de objetos texturizados a partir de una sola imagen en tan solo 0.5 segundos. A diferencia de la mayoría de los enfoques existentes, SF3D está explícitamente entrenado para la generación de mallas, incorporando una técnica rápida de desplegado UV que permite una generación rápida de texturas en lugar de depender de colores de vértices. El método también aprende a predecir parámetros de materiales y mapas de normales para mejorar la calidad visual de las mallas 3D reconstruidas. Además, SF3D integra un paso de "delighting" para eliminar efectos de iluminación de baja frecuencia de manera efectiva, asegurando que las mallas reconstruidas puedan ser fácilmente utilizadas en condiciones de iluminación novedosas. Experimentos demuestran el rendimiento superior de SF3D sobre las técnicas existentes. Página del proyecto: https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io