Материал Anything: Генерация материалов для любого 3D-объекта с помощью диффузии

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Авторы: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Аннотация

Мы представляем Material Anything, полностью автоматизированную, объединенную рамку диффузии, разработанную для создания материалов на основе физики для 3D объектов. В отличие от существующих методов, которые полагаются на сложные конвейеры или оптимизации, ориентированные на конкретные случаи, Material Anything предлагает надежное, полностью интегрированное решение, способное адаптироваться к объектам в различных условиях освещения. Наш подход использует предварительно обученную модель диффузии изображения, улучшенную трехголовой архитектурой и потерями рендеринга для повышения стабильности и качества материалов. Кроме того, мы вводим маски уверенности в качестве динамического переключателя в модели диффузии, что позволяет ей эффективно обрабатывать как текстурированные, так и нетекстурированные объекты при различных условиях освещения. Применяя стратегию пошагового создания материалов, направляемую этими масками уверенности, вместе с улучшителем материалов в UV-пространстве, наш метод гарантирует последовательные, готовые к UV выходные данные материалов. Обширные эксперименты демонстрируют, что наш подход превосходит существующие методы в широком диапазоне категорий объектов и условий освещения.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.