MaPa: 3D形状のためのテキスト駆動型フォトリアル素材描画

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

April 26, 2024

著者: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou

cs.AI

要旨

本論文は、テキスト記述から3Dメッシュのマテリアルを生成することを目的としています。既存の手法がテクスチャマップを合成するのに対し、我々はセグメントごとのプロシージャルマテリアルグラフを外観表現として生成することを提案します。これにより、高品質なレンダリングが可能となり、編集においても大幅な柔軟性を提供します。マテリアルグラフ生成モデルを訓練するために、3Dメッシュとマテリアルグラフ、対応するテキスト記述といった大量のペアデータに依存する代わりに、事前学習済みの2D拡散モデルをテキストとマテリアルグラフを結びつける橋渡しとして活用することを提案します。具体的には、形状を一連のセグメントに分解し、メッシュパーツと整合する2D画像を合成するためのセグメント制御拡散モデルを設計します。生成された画像に基づいて、マテリアルグラフのパラメータを初期化し、微分可能なレンダリングモジュールを通じて微調整を行い、テキスト記述に従ったマテリアルを生成します。広範な実験により、我々のフレームワークが既存手法を上回る写実性、解像度、編集可能性を有することを実証しています。プロジェクトページ: https://zhanghe3z.github.io/MaPa/

English

This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zhanghe3z.github.io/MaPa/