TextureDreamer: Síntese de Textura Guiada por Imagem através de Difusão Consciente da Geometria

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Autores: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Resumo

Apresentamos o TextureDreamer, um método inovador de síntese de texturas guiado por imagens para transferir texturas reluzíveis de um pequeno número de imagens de entrada (3 a 5) para formas 3D de categorias arbitrárias. A criação de texturas é um desafio fundamental na visão computacional e na computação gráfica. Empresas industriais contratam artistas experientes para criar manualmente texturas para ativos 3D. Métodos clássicos exigem visões densamente amostradas e geometria alinhada com precisão, enquanto métodos baseados em aprendizado são limitados a formas específicas de categorias dentro do conjunto de dados. Em contraste, o TextureDreamer pode transferir texturas altamente detalhadas e intrincadas de ambientes do mundo real para objetos arbitrários com apenas algumas imagens capturadas casualmente, potencialmente democratizando significativamente a criação de texturas. Nossa ideia central, a destilação de pontuação personalizada e consciente da geometria (PGSD), inspira-se em avanços recentes em modelos difusos, incluindo modelagem personalizada para extração de informações de textura, destilação de pontuação variacional para síntese de aparência detalhada e orientação explícita de geometria com ControlNet. Nossa integração e várias modificações essenciais melhoram substancialmente a qualidade da textura. Experimentos com imagens reais de diferentes categorias mostram que o TextureDreamer pode transferir com sucesso texturas altamente realistas e semanticamente significativas para objetos arbitrários, superando a qualidade visual dos métodos state-of-the-art anteriores.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.