Génération conjointe de textures PBR multi-vues cohérentes en utilisant un contrôle collaboratif

Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

October 9, 2024

Auteurs: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné

cs.AI

Résumé

La cohérence multi-vues reste un défi pour les modèles de diffusion d'images. Même dans le cadre du problème Texte-vers-Texture, où les correspondances géométriques parfaites sont connues a priori, de nombreuses méthodes échouent à produire des prédictions alignées à travers les vues, nécessitant des méthodes de fusion non triviales pour incorporer les résultats sur le maillage d'origine. Nous explorons cette problématique pour un flux de travail de Contrôle Collaboratif spécifiquement dans le contexte PBR Texte-vers-Texture. Le Contrôle Collaboratif modélise directement les distributions de probabilité d'images PBR, y compris les cartes de relief normales ; à notre connaissance, le seul modèle de diffusion à produire directement des piles PBR complètes en sortie. Nous discutons des décisions de conception impliquées dans la réalisation de la cohérence multi-vues de ce modèle, et démontrons l'efficacité de notre approche dans des études d'ablation, ainsi que dans des applications pratiques.

English

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.