Material Anything: Generierung von Materialien für jedes 3D-Objekt über Diffusion

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Autoren: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Zusammenfassung

Wir präsentieren Material Anything, ein vollautomatisiertes, einheitliches Diffusions-Framework, das entwickelt wurde, um physikalisch basierte Materialien für 3D-Objekte zu generieren. Im Gegensatz zu bestehenden Methoden, die auf komplexen Pipelines oder fallabhängigen Optimierungen beruhen, bietet Material Anything eine robuste, end-to-end Lösung, die an Objekte unter verschiedenen Beleuchtungsbedingungen anpassbar ist. Unser Ansatz nutzt ein vortrainiertes Bild-Diffusionsmodell, das mit einer Triple-Head-Architektur und Rendervariationen verbessert wurde, um Stabilität und Materialqualität zu erhöhen. Darüber hinaus führen wir Vertrauensmasken als dynamischen Schalter innerhalb des Diffusionsmodells ein, um es zu ermöglichen, sowohl texturierte als auch texturlose Objekte unter unterschiedlichen Beleuchtungsbedingungen effektiv zu handhaben. Durch die Anwendung einer progressiven Materialgenerierungsstrategie, die von diesen Vertrauensmasken geleitet wird, zusammen mit einem UV-Raum-Materialverfeiner, gewährleistet unsere Methode konsistente, UV-bereite Materialausgaben. Umfangreiche Experimente zeigen, dass unser Ansatz bestehende Methoden in einer Vielzahl von Objektkategorien und Beleuchtungsbedingungen übertrifft.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.