MaPa: 3D 모델을 위한 텍스트 기반 사실적 재질 페인팅

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

April 26, 2024

저자: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou

cs.AI

초록

본 논문은 텍스트 설명으로부터 3D 메쉬를 위한 재질을 생성하는 것을 목표로 합니다. 기존의 텍스처 맵을 합성하는 방법과 달리, 우리는 고품질 렌더링을 지원하고 편집에 있어 상당한 유연성을 제공하는 세그먼트 단위의 절차적 재질 그래프를 외관 표현으로 생성하는 방법을 제안합니다. 재질 그래프 생성 모델을 학습시키기 위해 재질 그래프와 텍스트 설명이 함께 제공된 3D 메쉬와 같은 대규모의 짝지어진 데이터에 의존하는 대신, 우리는 텍스트와 재질 그래프를 연결하는 다리 역할로 사전 학습된 2D 확산 모델을 활용할 것을 제안합니다. 구체적으로, 우리의 접근 방식은 형태를 세그먼트 집합으로 분해하고, 메쉬 부위와 정렬된 2D 이미지를 합성하기 위해 세그먼트 제어 확산 모델을 설계합니다. 생성된 이미지를 기반으로, 우리는 재질 그래프의 매개변수를 초기화하고 미분 가능 렌더링 모듈을 통해 이를 미세 조정하여 텍스트 설명에 부합하는 재질을 생성합니다. 광범위한 실험을 통해 우리의 프레임워크가 기존 방법들보다 사실감, 해상도, 편집성 면에서 우수한 성능을 보임을 입증합니다. 프로젝트 페이지: https://zhanghe3z.github.io/MaPa/

English

This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zhanghe3z.github.io/MaPa/