MaPa: Tekstgestuurd fotorealistisch materiaal schilderen voor 3D-vormen
MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
April 26, 2024
Auteurs: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou
cs.AI
Samenvatting
Dit artikel beoogt materialen voor 3D-meshes te genereren op basis van tekstbeschrijvingen. In tegenstelling tot bestaande methoden die texture maps synthetiseren, stellen wij voor om segmentgewijze procedurele materiaalgrafieken te genereren als de representatie van het uiterlijk, wat hoogwaardige rendering ondersteunt en aanzienlijke flexibiliteit biedt bij het bewerken. In plaats van te vertrouwen op uitgebreide gepaarde gegevens, zoals 3D-meshes met materiaalgrafieken en bijbehorende tekstbeschrijvingen, om een generatief model voor materiaalgrafieken te trainen, stellen wij voor om het vooraf getrainde 2D-diffusiemodel te gebruiken als een brug om de tekst en materiaalgrafieken te verbinden. Specifiek deelt onze aanpak een vorm op in een reeks segmenten en ontwerpt een segment-gestuurd diffusiemodel om 2D-afbeeldingen te synthetiseren die zijn uitgelijnd met mesh-onderdelen. Op basis van gegenereerde afbeeldingen initialiseren we parameters van materiaalgrafieken en verfijnen we deze via de differentieerbare renderingmodule om materialen te produceren die overeenkomen met de tekstuele beschrijving. Uitgebreide experimenten tonen de superieure prestaties van ons framework aan op het gebied van fotorealisme, resolutie en bewerkbaarheid in vergelijking met bestaande methoden. Projectpagina: https://zhanghe3z.github.io/MaPa/
English
This paper aims to generate materials for 3D meshes from text descriptions.
Unlike existing methods that synthesize texture maps, we propose to generate
segment-wise procedural material graphs as the appearance representation, which
supports high-quality rendering and provides substantial flexibility in
editing. Instead of relying on extensive paired data, i.e., 3D meshes with
material graphs and corresponding text descriptions, to train a material graph
generative model, we propose to leverage the pre-trained 2D diffusion model as
a bridge to connect the text and material graphs. Specifically, our approach
decomposes a shape into a set of segments and designs a segment-controlled
diffusion model to synthesize 2D images that are aligned with mesh parts. Based
on generated images, we initialize parameters of material graphs and fine-tune
them through the differentiable rendering module to produce materials in
accordance with the textual description. Extensive experiments demonstrate the
superior performance of our framework in photorealism, resolution, and
editability over existing methods. Project page:
https://zhanghe3z.github.io/MaPa/