MaPa: Textbasiertes fotorealistisches Materialmalen für 3D-Formen

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

April 26, 2024

Autoren: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou

cs.AI

Zusammenfassung

Dieses Paper zielt darauf ab, Materialien für 3D-Gitter aus Textbeschreibungen zu generieren. Im Gegensatz zu bestehenden Methoden, die Texturkarten synthetisieren, schlagen wir vor, segmentweise prozedurale Materialgraphen als Erscheinungsrepräsentation zu generieren, die hochwertiges Rendern unterstützen und eine beträchtliche Flexibilität bei der Bearbeitung bieten. Anstatt auf umfangreiche gepaarte Daten angewiesen zu sein, d.h. 3D-Gitter mit Materialgraphen und entsprechenden Textbeschreibungen, um ein generatives Modell für Materialgraphen zu trainieren, schlagen wir vor, das vortrainierte 2D-Diffusionsmodell als Brücke zu nutzen, um den Text und die Materialgraphen zu verbinden. Speziell zerlegt unser Ansatz eine Form in eine Reihe von Segmenten und entwirft ein segmentgesteuertes Diffusionsmodell, um 2D-Bilder zu synthetisieren, die mit Gitterteilen ausgerichtet sind. Basierend auf den generierten Bildern initialisieren wir die Parameter der Materialgraphen und feinabstimmen sie durch das differentiell rendernde Modul, um Materialien gemäß der textuellen Beschreibung zu erzeugen. Umfangreiche Experimente zeigen die überragende Leistung unseres Frameworks in Bezug auf Fotorealismus, Auflösung und Bearbeitbarkeit im Vergleich zu bestehenden Methoden. Projektseite: https://zhanghe3z.github.io/MaPa/

English

This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zhanghe3z.github.io/MaPa/