저품질 모델에서 고품질 텍스처 및 형상 정제를 통한 3D 모델 개선

초록

고품질 3D 자산은 컴퓨터 그래픽스와 3D 비전 분야의 다양한 응용 프로그램에 필수적이지만, 높은 획득 비용으로 인해 여전히 부족한 상황입니다. 이러한 부족 문제를 해결하기 위해, 우리는 쉽게 접근할 수 있는 저품질 3D 자산을 고품질로 변환하는 새로운 프레임워크인 Elevate3D를 소개합니다. Elevate3D의 핵심은 HFS-SDEdit이라는 특화된 텍스처 향상 방법으로, 이는 텍스처 품질을 크게 개선하면서 외관과 기하학적 구조를 보존하고 열화 현상을 수정합니다. 또한, Elevate3D는 뷰별(view-by-view) 방식으로 작동하며, 텍스처와 기하학적 정제를 번갈아가며 수행합니다. 기존 방법들이 주로 기하학적 정제를 간과했던 것과 달리, 우리의 프레임워크는 HFS-SDEdit으로 정제된 이미지에서 기하학적 단서를 활용하며, 최신의 단안(monocular) 기하학 예측기를 사용합니다. 이 접근 방식은 향상된 텍스처와 완벽하게 조화를 이루는 세밀하고 정확한 기하학적 구조를 보장합니다. Elevate3D는 최근의 경쟁자들을 능가하며 3D 모델 정제 분야에서 최첨단 품질을 달성함으로써, 고품질 오픈소스 3D 자산의 부족 문제를 효과적으로 해결합니다.

English

High-quality 3D assets are essential for various applications in computer graphics and 3D vision but remain scarce due to significant acquisition costs. To address this shortage, we introduce Elevate3D, a novel framework that transforms readily accessible low-quality 3D assets into higher quality. At the core of Elevate3D is HFS-SDEdit, a specialized texture enhancement method that significantly improves texture quality while preserving the appearance and geometry while fixing its degradations. Furthermore, Elevate3D operates in a view-by-view manner, alternating between texture and geometry refinement. Unlike previous methods that have largely overlooked geometry refinement, our framework leverages geometric cues from images refined with HFS-SDEdit by employing state-of-the-art monocular geometry predictors. This approach ensures detailed and accurate geometry that aligns seamlessly with the enhanced texture. Elevate3D outperforms recent competitors by achieving state-of-the-art quality in 3D model refinement, effectively addressing the scarcity of high-quality open-source 3D assets.

저품질 모델에서 고품질 텍스처 및 형상 정제를 통한 3D 모델 개선

Elevating 3D Models: High-Quality Texture and Geometry Refinement from a Low-Quality Model

초록

Support