TextureDreamer: 기하학적 인식을 통한 이미지 기반 텍스처 합성

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

저자: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

초록

본 논문에서는 소수의 입력 이미지(3~5장)로부터 재조명 가능한 텍스처를 임의의 범주의 대상 3D 모델로 전이하는 새로운 이미지 기반 텍스처 합성 방법인 TextureDreamer를 제안한다. 텍스처 생성은 비전 및 그래픽스 분야에서 중요한 과제로, 산업계에서는 숙련된 아티스트를 고용하여 3D 자산에 대한 텍스처를 수작업으로 제작한다. 기존의 고전적 방법은 밀집된 시점 샘플링과 정확하게 정렬된 지오메트리를 요구하며, 학습 기반 방법은 데이터셋 내의 특정 범주에 한정된 형태에만 적용 가능하다. 반면, TextureDreamer는 실제 환경에서 캡처된 몇 장의 이미지만으로도 고도로 세밀하고 복잡한 텍스처를 임의의 객체로 전이할 수 있어, 텍스처 생성의 민주화를 크게 촉진할 잠재력을 지닌다. 본 연구의 핵심 아이디어인 개인화된 지오메트리 인식 점수 증류(PGSD)는 최근의 확산 모델 발전에서 영감을 얻었으며, 텍스처 정보 추출을 위한 개인화된 모델링, 세밀한 외관 합성을 위한 변분 점수 증류, 그리고 ControlNet을 통한 명시적 지오메트리 안내를 포함한다. 이러한 통합과 몇 가지 필수적인 수정을 통해 텍스처 품질이 크게 개선되었다. 다양한 범주의 실제 이미지에 대한 실험 결과, TextureDreamer는 이전의 최첨단 기술을 뛰어넘는 고도로 사실적이고 의미론적으로 의미 있는 텍스처를 임의의 객체에 성공적으로 전이할 수 있음을 보여준다.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.