SF3D: UV展開と照明分離を備えた安定かつ高速な3Dメッシュ再構築

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

著者: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

要旨

本論文では、単一画像から0.5秒で高速かつ高品質なテクスチャ付きオブジェクトメッシュを再構築する新しい手法SF3Dを提案します。既存の手法の多くとは異なり、SF3Dはメッシュ生成に特化して明示的に訓練されており、頂点カラーに依存するのではなく、迅速なテクスチャ生成を可能にする高速UVアンラッピング技術を組み込んでいます。この手法は、再構築された3Dメッシュの視覚的品質を向上させるために、マテリアルパラメータと法線マップの予測も学習します。さらに、SF3Dは低周波照明効果を効果的に除去するデライティングステップを統合しており、再構築されたメッシュが新しい照明条件下でも容易に使用できることを保証します。実験結果は、SF3Dが既存の技術を凌駕する優れた性能を示しています。プロジェクトページ: https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io