MaPa: Pintura de materiales fotorrealistas guiada por texto para formas 3D

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

April 26, 2024

Autores: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou

cs.AI

Resumen

Este artículo tiene como objetivo generar materiales para mallas 3D a partir de descripciones textuales. A diferencia de los métodos existentes que sintetizan mapas de textura, proponemos generar grafos de materiales procedimentales segmentados como representación de la apariencia, lo que permite renderizados de alta calidad y ofrece una flexibilidad significativa en la edición. En lugar de depender de grandes cantidades de datos emparejados, es decir, mallas 3D con grafos de materiales y descripciones textuales correspondientes, para entrenar un modelo generativo de grafos de materiales, proponemos aprovechar un modelo de difusión 2D preentrenado como puente para conectar el texto con los grafos de materiales. Específicamente, nuestro enfoque descompone una forma en un conjunto de segmentos y diseña un modelo de difusión controlado por segmentos para sintetizar imágenes 2D alineadas con las partes de la malla. Basándonos en las imágenes generadas, inicializamos los parámetros de los grafos de materiales y los ajustamos mediante un módulo de renderizado diferenciable para producir materiales que se ajusten a la descripción textual. Experimentos exhaustivos demuestran el rendimiento superior de nuestro marco en cuanto a fotorrealismo, resolución y capacidad de edición en comparación con los métodos existentes. Página del proyecto: https://zhanghe3z.github.io/MaPa/

English

This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zhanghe3z.github.io/MaPa/