Matérial Anything : Génération de matériaux pour n'importe quel objet 3D via diffusion

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Auteurs: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Résumé

Nous présentons Material Anything, un cadre de diffusion unifié entièrement automatisé conçu pour générer des matériaux physiquement réalistes pour des objets 3D. Contrairement aux méthodes existantes qui reposent sur des pipelines complexes ou des optimisations spécifiques à des cas, Material Anything offre une solution robuste de bout en bout adaptable aux objets dans des conditions d'éclairage diverses. Notre approche exploite un modèle de diffusion d'images pré-entraîné, amélioré avec une architecture à trois têtes et une perte de rendu pour améliorer la stabilité et la qualité des matériaux. De plus, nous introduisons des masques de confiance en tant que commutateur dynamique au sein du modèle de diffusion, lui permettant de gérer efficacement à la fois des objets texturés et sans texture dans des conditions d'éclairage variables. En utilisant une stratégie de génération de matériaux progressive guidée par ces masques de confiance, ainsi qu'un affineur de matériaux dans l'espace UV, notre méthode garantit des sorties de matériaux cohérentes et prêtes pour l'UV. Des expériences approfondies démontrent que notre approche surpasse les méthodes existantes dans une large gamme de catégories d'objets et de conditions d'éclairage.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.