Generazione congiunta di texture PBR coerenti multi-vista utilizzando il controllo collaborativo
Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control
October 9, 2024
Autori: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné
cs.AI
Abstract
La coerenza multi-vista rimane una sfida per i modelli di diffusione delle immagini. Anche all'interno del problema Testo-a-Texture, dove le corrispondenze geometriche perfette sono note a priori, molti metodi non riescono a produrre previsioni allineate tra le viste, rendendo necessari metodi di fusione non banali per incorporare i risultati sulla mesh originale. Esploriamo questo problema per un flusso di lavoro di Controllo Collaborativo specificamente nel contesto di PBR Testo-a-Texture. Il Controllo Collaborativo modella direttamente le distribuzioni di probabilità delle immagini PBR, inclusi le mappe di rilievo normale; a nostra conoscenza, è l'unico modello di diffusione che produce direttamente stack PBR completi. Discutiamo le decisioni progettuali coinvolte nel rendere questo modello coerente multi-vista e dimostriamo l'efficacia del nostro approccio in studi di ablazione, così come in applicazioni pratiche.
English
Multi-view consistency remains a challenge for image diffusion models. Even
within the Text-to-Texture problem, where perfect geometric correspondences are
known a priori, many methods fail to yield aligned predictions across views,
necessitating non-trivial fusion methods to incorporate the results onto the
original mesh. We explore this issue for a Collaborative Control workflow
specifically in PBR Text-to-Texture. Collaborative Control directly models PBR
image probability distributions, including normal bump maps; to our knowledge,
the only diffusion model to directly output full PBR stacks. We discuss the
design decisions involved in making this model multi-view consistent, and
demonstrate the effectiveness of our approach in ablation studies, as well as
practical applications.