TextureDreamer: Begeleide texturesynthese via geometriebewuste diffusie

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Auteurs: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Samenvatting

We presenteren TextureDreamer, een nieuwe beeldgeleide textuursynthesemethode om relightbare texturen over te dragen van een klein aantal invoerbeelden (3 tot 5) naar doel-3D-vormen over willekeurige categorieën. Texturecreatie is een cruciaal vraagstuk in visie en grafische technologie. Industriële bedrijven huren ervaren artiesten in om handmatig texturen te maken voor 3D-assets. Klassieke methoden vereisen dicht bemonsterde aanzichten en nauwkeurig uitgelijnde geometrie, terwijl op leren gebaseerde methoden beperkt zijn tot categorie-specifieke vormen binnen de dataset. Daarentegen kan TextureDreamer zeer gedetailleerde, complexe texturen uit de echte wereld overbrengen naar willekeurige objecten met slechts enkele lukraak vastgelegde beelden, wat texturecreatie mogelijk aanzienlijk kan democratiseren. Onze kernidee, gepersonaliseerde geometrie-bewuste score-distillatie (PGSD), put inspiratie uit recente vooruitgang in diffuse modellen, waaronder gepersonaliseerde modellering voor textuurinformatie-extractie, variatie-score-distillatie voor gedetailleerde uiterlijk-synthese, en expliciete geometrie-begeleiding met ControlNet. Onze integratie en verschillende essentiële aanpassingen verbeteren de textuurkwaliteit aanzienlijk. Experimenten met echte beelden uit verschillende categorieën tonen aan dat TextureDreamer zeer realistische, semantisch betekenisvolle texturen succesvol kan overbrengen naar willekeurige objecten, waarbij de visuele kwaliteit van eerdere state-of-the-art methoden wordt overtroffen.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.