MaPa: Pintura de Materiais Foto-realistas Orientada por Texto para Formas 3D
MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
April 26, 2024
Autores: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou
cs.AI
Resumo
Este artigo tem como objetivo gerar materiais para malhas 3D a partir de descrições textuais. Diferentemente dos métodos existentes que sintetizam mapas de textura, propomos gerar grafos de materiais procedimentais segmentados como representação de aparência, o que suporta renderização de alta qualidade e oferece flexibilidade significativa na edição. Em vez de depender de dados pareados extensivos, ou seja, malhas 3D com grafos de materiais e descrições textuais correspondentes, para treinar um modelo gerativo de grafos de materiais, propomos aproveitar o modelo de difusão 2D pré-treinado como uma ponte para conectar o texto e os grafos de materiais. Especificamente, nossa abordagem decompõe uma forma em um conjunto de segmentos e projeta um modelo de difusão controlado por segmentos para sintetizar imagens 2D que estão alinhadas com partes da malha. Com base nas imagens geradas, inicializamos os parâmetros dos grafos de materiais e os ajustamos finamente através do módulo de renderização diferenciável para produzir materiais de acordo com a descrição textual. Experimentos extensivos demonstram o desempenho superior de nossa estrutura em termos de fotorrealismo, resolução e editabilidade em comparação com os métodos existentes. Página do projeto: https://zhanghe3z.github.io/MaPa/
English
This paper aims to generate materials for 3D meshes from text descriptions.
Unlike existing methods that synthesize texture maps, we propose to generate
segment-wise procedural material graphs as the appearance representation, which
supports high-quality rendering and provides substantial flexibility in
editing. Instead of relying on extensive paired data, i.e., 3D meshes with
material graphs and corresponding text descriptions, to train a material graph
generative model, we propose to leverage the pre-trained 2D diffusion model as
a bridge to connect the text and material graphs. Specifically, our approach
decomposes a shape into a set of segments and designs a segment-controlled
diffusion model to synthesize 2D images that are aligned with mesh parts. Based
on generated images, we initialize parameters of material graphs and fine-tune
them through the differentiable rendering module to produce materials in
accordance with the textual description. Extensive experiments demonstrate the
superior performance of our framework in photorealism, resolution, and
editability over existing methods. Project page:
https://zhanghe3z.github.io/MaPa/