TextureDreamer: Sintesi guidata di texture tramite diffusione consapevole della geometria

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Autori: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Abstract

Presentiamo TextureDreamer, un metodo innovativo di sintesi delle texture guidata da immagini per trasferire texture rilucenti da un numero ridotto di immagini di input (da 3 a 5) a forme 3D target di categorie arbitrarie. La creazione di texture rappresenta una sfida cruciale nel campo della visione e della grafica. Le aziende industriali assumono artisti esperti per creare manualmente texture per asset 3D. I metodi classici richiedono viste campionate in modo denso e geometrie allineate con precisione, mentre i metodi basati sull'apprendimento sono limitati a forme specifiche della categoria all'interno del dataset. Al contrario, TextureDreamer è in grado di trasferire texture altamente dettagliate e complesse da ambienti reali a oggetti arbitrari utilizzando solo poche immagini catturate casualmente, potenzialmente democratizzando in modo significativo la creazione di texture. La nostra idea centrale, la distillazione del punteggio geometrico personalizzato (PGSD), trae ispirazione dai recenti progressi nei modelli diffusi, inclusa la modellazione personalizzata per l'estrazione delle informazioni sulla texture, la distillazione del punteggio variazionale per la sintesi di aspetti dettagliati e la guida geometrica esplicita con ControlNet. La nostra integrazione e diverse modifiche essenziali migliorano sostanzialmente la qualità della texture. Esperimenti su immagini reali che coprono diverse categorie dimostrano che TextureDreamer può trasferire con successo texture altamente realistiche e semanticamente significative a oggetti arbitrari, superando la qualità visiva dei precedenti state-of-the-art.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.