SF3D: UV 언래핑과 조명 분리를 통한 안정적이고 빠른 3D 메쉬 재구성

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

August 1, 2024

저자: Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani

cs.AI

초록

단일 이미지에서 0.5초 만에 고품질의 텍스처가 적용된 객체 메시를 신속하게 재구성하는 새로운 방법인 SF3D를 소개한다. 대부분의 기존 접근 방식과 달리, SF3D는 메시 생성을 위해 명시적으로 학습되었으며, 정점 색상에 의존하기보다는 빠른 텍스처 생성을 가능하게 하는 신속한 UV 언래핑 기술을 통합하였다. 또한, 이 방법은 재구성된 3D 메시의 시각적 품질을 향상시키기 위해 재질 매개변수와 노멀 맵을 예측하는 방법을 학습한다. 더 나아가, SF3D는 저주파 조명 효과를 효과적으로 제거하는 디라이팅 단계를 통합하여 재구성된 메시가 새로운 조명 조건에서도 쉽게 사용될 수 있도록 보장한다. 실험 결과는 SF3D가 기존 기술들을 능가하는 우수한 성능을 보여준다. 프로젝트 페이지: https://stable-fast-3d.github.io

English

We present SF3D, a novel method for rapid and high-quality textured object mesh reconstruction from a single image in just 0.5 seconds. Unlike most existing approaches, SF3D is explicitly trained for mesh generation, incorporating a fast UV unwrapping technique that enables swift texture generation rather than relying on vertex colors. The method also learns to predict material parameters and normal maps to enhance the visual quality of the reconstructed 3D meshes. Furthermore, SF3D integrates a delighting step to effectively remove low-frequency illumination effects, ensuring that the reconstructed meshes can be easily used in novel illumination conditions. Experiments demonstrate the superior performance of SF3D over the existing techniques. Project page: https://stable-fast-3d.github.io