SF3D: Устойчивая быстрая реконструкция 3D-сетки с разверткой UV и разделением освещения

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

Авторы: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

Аннотация

Мы представляем SF3D, новый метод быстрой и качественной реконструкции текстурированных объектов из одного изображения всего за 0.5 секунды. В отличие от большинства существующих подходов, SF3D явно обучен для генерации сетки, включая быструю технику распаковки UV, которая обеспечивает быструю генерацию текстуры, вместо использования цветов вершин. Метод также изучает предсказание параметров материала и нормалей для улучшения визуального качества восстановленных 3D-сеток. Кроме того, SF3D интегрирует шаг освещения для эффективного удаления низкочастотных эффектов освещения, обеспечивая возможность легкого использования восстановленных сеток в новых условиях освещения. Эксперименты демонстрируют превосходную производительность SF3D по сравнению с существующими техниками. Страница проекта: https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io