マテリアル・エニシング：拡散を介した任意の3Dオブジェクトのためのマテリアル生成

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

著者: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

要旨

物質アニシングという完全自動化された統合拡散フレームワークを提案します。このフレームワークは、3Dオブジェクトのために物理ベースの材料を生成するよう設計されています。既存の複雑なパイプラインやケース固有の最適化に依存する方法とは異なり、Material Anythingは、さまざまな照明条件下のオブジェクトに適応可能な堅牢でエンドツーエンドのソリューションを提供します。私たちのアプローチは、事前にトレーニングされた画像拡散モデルを活用し、トリプルヘッドアーキテクチャとレンダリング損失を組み合わせて安定性と材料品質を向上させています。さらに、拡散モデル内での信頼マスクを導入し、テクスチャのあるオブジェクトと無いオブジェクトの両方を効果的に扱えるようにしています。これにより、さまざまな照明条件下で一貫したUV準備済みの材料出力を確保するため、これらの信頼マスクによって誘導されるプログレッシブな材料生成戦略とUVスペース材料リファイナーを採用しています。広範な実験により、当社のアプローチが広範囲のオブジェクトカテゴリと照明条件にわたって既存の方法を凌駕することが示されています。

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.