TextureDreamer: Bildgesteuerte Textursynthese durch geometriebewusste Diffusion

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Autoren: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Zusammenfassung

Wir präsentieren TextureDreamer, eine neuartige, bildgestützte Textursynthesemethode, um beleuchtungsfähige Texturen von einer kleinen Anzahl von Eingabebildern (3 bis 5) auf Ziel-3D-Formen über beliebige Kategorien hinweg zu übertragen. Die Texturerstellung ist eine zentrale Herausforderung in der Bildverarbeitung und Grafik. Industrieunternehmen beschäftigen erfahrene Künstler, um manuell Texturen für 3D-Assets zu erstellen. Klassische Methoden erfordern dicht abgetastete Ansichten und präzise ausgerichtete Geometrie, während lernbasierte Methoden auf kategoriespezifische Formen innerhalb des Datensatzes beschränkt sind. Im Gegensatz dazu kann TextureDreamer hochdetaillierte, komplexe Texturen aus realen Umgebungen mit nur wenigen beiläufig aufgenommenen Bildern auf beliebige Objekte übertragen, was die Texturerstellung potenziell erheblich demokratisiert. Unser Kernkonzept, die personalisierte geometrie-bewusste Score-Destillation (PGSD), schöpft Inspiration aus jüngsten Fortschritten in Diffusionsmodellen, einschließlich personalisierter Modellierung zur Extraktion von Texturinformationen, variativer Score-Destillation für die Synthese detaillierter Erscheinungsbilder und expliziter Geometrie-Führung mit ControlNet. Unsere Integration und mehrere wesentliche Modifikationen verbessern die Texturqualität erheblich. Experimente mit realen Bildern aus verschiedenen Kategorien zeigen, dass TextureDreamer erfolgreich hochrealistische, semantisch bedeutungsvolle Texturen auf beliebige Objekte übertragen kann und dabei die visuelle Qualität bisheriger State-of-the-Art-Methoden übertrifft.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.