Material Anything: Gerando Materiais para Qualquer Objeto 3D via Difusão

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Autores: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Resumo

Apresentamos o Material Anything, um framework unificado e totalmente automatizado de difusão projetado para gerar materiais baseados em física para objetos 3D. Ao contrário de métodos existentes que dependem de pipelines complexos ou otimizações específicas para casos, o Material Anything oferece uma solução robusta de ponta a ponta, adaptável a objetos em diversas condições de iluminação. Nossa abordagem aproveita um modelo de difusão de imagens pré-treinado, aprimorado com uma arquitetura de três cabeças e perda de renderização para melhorar a estabilidade e a qualidade do material. Além disso, introduzimos máscaras de confiança como um comutador dinâmico dentro do modelo de difusão, permitindo que ele lide efetivamente com objetos texturizados e sem textura em diferentes condições de iluminação. Ao empregar uma estratégia progressiva de geração de material guiada por essas máscaras de confiança, juntamente com um refinador de material no espaço UV, nosso método garante saídas de material consistentes e prontas para UV. Experimentos extensivos demonstram que nossa abordagem supera os métodos existentes em uma ampla gama de categorias de objetos e condições de iluminação.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.