MaPa: Текстовая фотореалистичная живопись материалов для 3D форм.
MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
April 26, 2024
Авторы: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou
cs.AI
Аннотация
Цель данной статьи - создание материалов для 3D-сеток на основе текстовых описаний. В отличие от существующих методов, синтезирующих текстурные карты, мы предлагаем создание графов материалов по сегментам в качестве представления внешнего вида, что обеспечивает высококачественный рендеринг и значительную гибкость при редактировании. Вместо использования обширных сопоставленных данных, таких как 3D-сетки с графами материалов и соответствующими текстовыми описаниями, для обучения генеративной модели графов материалов, мы предлагаем использовать предварительно обученную 2D модель диффузии в качестве связующего звена между текстом и графами материалов. Конкретно, наш подход декомпозирует форму на набор сегментов и разрабатывает модель диффузии, управляемую сегментами, для синтеза 2D изображений, выровненных с частями сетки. На основе сгенерированных изображений мы инициализируем параметры графов материалов и настраиваем их через модуль дифференцируемого рендеринга для создания материалов в соответствии с текстовым описанием. Обширные эксперименты демонстрируют превосходную производительность нашей структуры в фотореализме, разрешении и возможности редактирования по сравнению с существующими методами. Страница проекта: https://zhanghe3z.github.io/MaPa/
English
This paper aims to generate materials for 3D meshes from text descriptions.
Unlike existing methods that synthesize texture maps, we propose to generate
segment-wise procedural material graphs as the appearance representation, which
supports high-quality rendering and provides substantial flexibility in
editing. Instead of relying on extensive paired data, i.e., 3D meshes with
material graphs and corresponding text descriptions, to train a material graph
generative model, we propose to leverage the pre-trained 2D diffusion model as
a bridge to connect the text and material graphs. Specifically, our approach
decomposes a shape into a set of segments and designs a segment-controlled
diffusion model to synthesize 2D images that are aligned with mesh parts. Based
on generated images, we initialize parameters of material graphs and fine-tune
them through the differentiable rendering module to produce materials in
accordance with the textual description. Extensive experiments demonstrate the
superior performance of our framework in photorealism, resolution, and
editability over existing methods. Project page:
https://zhanghe3z.github.io/MaPa/