SF3D: Reconstrução Estável Rápida de Malha 3D com Desdobramento UV e Desembaraço de Iluminação

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

Autores: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

Resumo

Apresentamos o SF3D, um método inovador para reconstrução de malha de objetos texturizados de forma rápida e de alta qualidade a partir de uma única imagem em apenas 0,5 segundos. Ao contrário da maioria das abordagens existentes, o SF3D é explicitamente treinado para geração de malha, incorporando uma técnica rápida de desdobramento UV que permite uma geração de textura rápida em vez de depender de cores de vértices. O método também aprende a prever parâmetros de material e mapas de normais para aprimorar a qualidade visual das malhas 3D reconstruídas. Além disso, o SF3D integra uma etapa de remoção de iluminação para efetivamente eliminar efeitos de iluminação de baixa frequência, garantindo que as malhas reconstruídas possam ser facilmente utilizadas em novas condições de iluminação. Experimentos demonstram o desempenho superior do SF3D em relação às técnicas existentes. Página do projeto: https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io