TextureDreamer : Synthèse de textures guidée par l'image via une diffusion prenant en compte la géométrie

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Auteurs: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Résumé

Nous présentons TextureDreamer, une méthode novatrice de synthèse de textures guidée par l’image, permettant de transférer des textures rééclairées à partir d’un petit nombre d’images d’entrée (3 à 5) vers des formes 3D cibles, indépendamment de leur catégorie. La création de textures constitue un défi majeur en vision et en infographie. Les entreprises industrielles emploient des artistes expérimentés pour concevoir manuellement les textures des assets 3D. Les méthodes classiques nécessitent des vues densément échantillonnées et une géométrie parfaitement alignée, tandis que les méthodes basées sur l’apprentissage sont limitées à des formes spécifiques à une catégorie dans le jeu de données. En revanche, TextureDreamer permet de transférer des textures hautement détaillées et complexes, issues d’environnements réels, vers des objets arbitraires avec seulement quelques images capturées de manière informelle, ce qui pourrait potentiellement démocratiser significativement la création de textures. Notre idée centrale, la distillation de scores géométriques personnalisés (PGSD), s’inspire des avancées récentes dans les modèles diffus, incluant la modélisation personnalisée pour l’extraction d’informations texturales, la distillation de scores variationnels pour la synthèse d’apparences détaillées, et le guidage géométrique explicite avec ControlNet. Notre intégration ainsi que plusieurs modifications essentielles améliorent considérablement la qualité des textures. Les expériences menées sur des images réelles couvrant différentes catégories montrent que TextureDreamer parvient à transférer avec succès des textures hautement réalistes et sémantiquement significatives vers des objets arbitraires, surpassant la qualité visuelle des méthodes précédentes de pointe.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.