텍스트 지도: 다중 뷰 샘플링 및 재샘플링을 이용한 3D 텍스처 생성

TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling

August 2, 2024

저자: Dong Huo, Zixin Guo, Xinxin Zuo, Zhihao Shi, Juwei Lu, Peng Dai, Songcen Xu, Li Cheng, Yee-Hong Yang

cs.AI

초록

3D 메쉬가 주어졌을 때, 임의의 텍스트 설명과 일치하는 3D 텍스처를 합성하는 것을 목표로 합니다. 샘플링된 뷰로부터 텍스처를 생성하고 조립하는 현재의 방법은 종종 두드러진 이음선이나 과도한 평활화를 초래합니다. 이러한 문제를 해결하기 위해 저희는 TexGen을 제시합니다. 이는 사전 훈련된 텍스트-이미지 확산 모델을 활용한 텍스처 생성을 위한 혁신적인 다중 뷰 샘플링 및 재샘플링 프레임워크입니다. 뷰 일관성 있는 샘플링을 위해, 먼저 확산 모델의 각 샘플링 단계 후에 업데이트되는 RGB 공간의 텍스처 맵을 유지하여 점진적으로 뷰 불일치를 줄입니다. 외관 정보를 뷰 간에 전파하기 위해 주의력 안내된 다중 뷰 샘플링 전략이 활용됩니다. 텍스처 세부 정보를 보존하기 위해, 현재의 텍스처 맵에 따라 텍스트 프롬프트에 따라 지시된 후속 노이즈 추정을 돕는 노이즈 재샘플링 기술을 개발합니다. 방대한 양의 질적 및 양적 평가를 통해, 우리의 제안된 방법이 현재의 최첨단 기술을 능가하며 뷰 일관성과 풍부한 외관 세부 정보를 가진 다양한 3D 객체에 대해 상당히 우수한 텍스처 품질을 생산한다는 것을 입증합니다. 더 나아가, 우리의 제안된 텍스처 생성 기술은 원래의 정체성을 보존하면서 텍스처 편집에도 적용할 수 있습니다. 더 많은 실험 결과는 https://dong-huo.github.io/TexGen/에서 확인할 수 있습니다.

English

Given a 3D mesh, we aim to synthesize 3D textures that correspond to arbitrary textual descriptions. Current methods for generating and assembling textures from sampled views often result in prominent seams or excessive smoothing. To tackle these issues, we present TexGen, a novel multi-view sampling and resampling framework for texture generation leveraging a pre-trained text-to-image diffusion model. For view consistent sampling, first of all we maintain a texture map in RGB space that is parameterized by the denoising step and updated after each sampling step of the diffusion model to progressively reduce the view discrepancy. An attention-guided multi-view sampling strategy is exploited to broadcast the appearance information across views. To preserve texture details, we develop a noise resampling technique that aids in the estimation of noise, generating inputs for subsequent denoising steps, as directed by the text prompt and current texture map. Through an extensive amount of qualitative and quantitative evaluations, we demonstrate that our proposed method produces significantly better texture quality for diverse 3D objects with a high degree of view consistency and rich appearance details, outperforming current state-of-the-art methods. Furthermore, our proposed texture generation technique can also be applied to texture editing while preserving the original identity. More experimental results are available at https://dong-huo.github.io/TexGen/