Materiaal Alles: Het Genereren van Materialen voor Elk 3D Object via Diffusie

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Auteurs: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Samenvatting

Wij presenteren Material Anything, een volledig geautomatiseerd, verenigd diffusiekader dat is ontworpen om op fysische principes gebaseerde materialen te genereren voor 3D-objecten. In tegenstelling tot bestaande methoden die vertrouwen op complexe pipelines of geoptimaliseerde oplossingen voor specifieke gevallen, biedt Material Anything een robuuste, end-to-end oplossing die aanpasbaar is aan objecten onder diverse lichtomstandigheden. Onze aanpak maakt gebruik van een vooraf getraind beelddiffusiemodel, verbeterd met een triple-head architectuur en renderingsverlies om stabiliteit en materiaalkwaliteit te verbeteren. Daarnaast introduceren we vertrouwensmaskers als een dynamische schakelaar binnen het diffusiemodel, waardoor het effectief kan omgaan met zowel gestructureerde als niet-gestructureerde objecten onder verschillende lichtomstandigheden. Door gebruik te maken van een progressieve materiaalgeneratiestrategie geleid door deze vertrouwensmaskers, samen met een UV-ruimte materiaalverfijner, zorgt onze methode voor consistente, UV-klaar materiaaluitvoer. Uitgebreide experimenten tonen aan dat onze aanpak bestaande methoden overtreft over een breed scala van objectcategorieën en lichtomstandigheden.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.