MaPa : Peinture de matériaux photoréalistes pilotée par texte pour des formes 3D

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

April 26, 2024

Auteurs: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou

cs.AI

Résumé

Cet article vise à générer des matériaux pour des maillages 3D à partir de descriptions textuelles. Contrairement aux méthodes existantes qui synthétisent des cartes de textures, nous proposons de générer des graphes de matériaux procéduraux segment par segment comme représentation de l'apparence, ce qui permet un rendu de haute qualité et offre une flexibilité substantielle dans l'édition. Au lieu de s'appuyer sur des données appariées étendues, c'est-à-dire des maillages 3D avec des graphes de matériaux et des descriptions textuelles correspondantes, pour entraîner un modèle génératif de graphes de matériaux, nous proposons d'exploiter un modèle de diffusion 2D pré-entraîné comme pont pour connecter le texte et les graphes de matériaux. Plus précisément, notre approche décompose une forme en un ensemble de segments et conçoit un modèle de diffusion contrôlé par segment pour synthétiser des images 2D alignées avec les parties du maillage. Sur la base des images générées, nous initialisons les paramètres des graphes de matériaux et les affinons via le module de rendu différentiable pour produire des matériaux conformes à la description textuelle. Des expériences approfondies démontrent la performance supérieure de notre framework en termes de photoréalisme, de résolution et de capacité d'édition par rapport aux méthodes existantes. Page du projet : https://zhanghe3z.github.io/MaPa/

English

This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zhanghe3z.github.io/MaPa/