Material Anything: Generando materiales para cualquier objeto 3D a través de difusión

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Autores: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Resumen

Presentamos Material Anything, un marco de difusión unificado totalmente automatizado diseñado para generar materiales basados en la física para objetos 3D. A diferencia de los métodos existentes que dependen de complejos flujos de trabajo o optimizaciones específicas de casos, Material Anything ofrece una solución sólida de extremo a extremo adaptable a objetos bajo diversas condiciones de iluminación. Nuestro enfoque aprovecha un modelo de difusión de imágenes pre-entrenado, mejorado con una arquitectura de triple cabeza y una pérdida de renderizado para mejorar la estabilidad y la calidad del material. Además, introducimos máscaras de confianza como un interruptor dinámico dentro del modelo de difusión, lo que le permite manejar eficazmente objetos texturizados y sin textura en diversas condiciones de iluminación. Al emplear una estrategia progresiva de generación de material guiada por estas máscaras de confianza, junto con un refinador de material en el espacio UV, nuestro método garantiza salidas de material consistentes y listas para UV. Experimentos extensos demuestran que nuestro enfoque supera a los métodos existentes en una amplia gama de categorías de objetos y condiciones de iluminación.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.