TextureDreamer: Síntesis de texturas guiada por imágenes mediante difusión consciente de la geometría

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Autores: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Resumen

Presentamos TextureDreamer, un novedoso método de síntesis de texturas guiado por imágenes para transferir texturas relumbrantes desde un pequeño número de imágenes de entrada (3 a 5) a formas 3D objetivo en categorías arbitrarias. La creación de texturas es un desafío fundamental en visión y gráficos. Las empresas industriales contratan artistas experimentados para elaborar manualmente texturas para activos 3D. Los métodos clásicos requieren vistas muestreadas densamente y geometría alineada con precisión, mientras que los métodos basados en aprendizaje están limitados a formas específicas de categorías dentro del conjunto de datos. En contraste, TextureDreamer puede transferir texturas altamente detalladas e intrincadas desde entornos del mundo real a objetos arbitrarios con solo unas pocas imágenes capturadas casualmente, democratizando potencialmente de manera significativa la creación de texturas. Nuestra idea central, la destilación de puntuación geométrica personalizada (PGSD), se inspira en avances recientes en modelos difusos, incluyendo modelado personalizado para la extracción de información de texturas, destilación de puntuación variacional para la síntesis de apariencia detallada y guía geométrica explícita con ControlNet. Nuestra integración y varias modificaciones esenciales mejoran sustancialmente la calidad de las texturas. Los experimentos con imágenes reales que abarcan diferentes categorías muestran que TextureDreamer puede transferir con éxito texturas altamente realistas y semánticamente significativas a objetos arbitrarios, superando la calidad visual de los métodos anteriores más avanzados.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.