MaPa: Pittura di Materiali Fotorealistici Guidata da Testo per Forme 3D
MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
April 26, 2024
Autori: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou
cs.AI
Abstract
Questo articolo si propone di generare materiali per mesh 3D a partire da descrizioni testuali. A differenza dei metodi esistenti che sintetizzano mappe di texture, proponiamo di generare grafi procedurali di materiali segmentati come rappresentazione dell'aspetto, che supportano rendering di alta qualità e offrono una notevole flessibilità nella modifica. Invece di fare affidamento su ampi dati accoppiati, ovvero mesh 3D con grafi di materiali e corrispondenti descrizioni testuali, per addestrare un modello generativo di grafi di materiali, proponiamo di sfruttare il modello di diffusione 2D pre-addestrato come ponte per collegare il testo e i grafi di materiali. Nello specifico, il nostro approccio scompone una forma in un insieme di segmenti e progetta un modello di diffusione controllato dai segmenti per sintetizzare immagini 2D allineate con le parti della mesh. Sulla base delle immagini generate, inizializziamo i parametri dei grafi di materiali e li ottimizziamo attraverso il modulo di rendering differenziabile per produrre materiali in accordo con la descrizione testuale. Esperimenti estensivi dimostrano la performance superiore del nostro framework in termini di fotorealismo, risoluzione e editabilità rispetto ai metodi esistenti. Pagina del progetto: https://zhanghe3z.github.io/MaPa/
English
This paper aims to generate materials for 3D meshes from text descriptions.
Unlike existing methods that synthesize texture maps, we propose to generate
segment-wise procedural material graphs as the appearance representation, which
supports high-quality rendering and provides substantial flexibility in
editing. Instead of relying on extensive paired data, i.e., 3D meshes with
material graphs and corresponding text descriptions, to train a material graph
generative model, we propose to leverage the pre-trained 2D diffusion model as
a bridge to connect the text and material graphs. Specifically, our approach
decomposes a shape into a set of segments and designs a segment-controlled
diffusion model to synthesize 2D images that are aligned with mesh parts. Based
on generated images, we initialize parameters of material graphs and fine-tune
them through the differentiable rendering module to produce materials in
accordance with the textual description. Extensive experiments demonstrate the
superior performance of our framework in photorealism, resolution, and
editability over existing methods. Project page:
https://zhanghe3z.github.io/MaPa/