Alchemist: 拡散モデルによる材料特性のパラメトリック制御

Alchemist: Parametric Control of Material Properties with Diffusion Models

December 5, 2023

著者: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews

cs.AI

要旨

本論文では、実画像における物体の粗さ、金属質感、アルベド、透明性といった材質属性を制御する手法を提案する。本手法は、写実的な画像生成で知られるテキストto画像モデルの生成事前分布を活用し、スカラー値と指示を用いて低レベルの材質特性を変更する。制御された材質属性を持つデータセットの不足に対処するため、物理ベースの材質を用いた物体中心の合成データセットを生成した。この合成データセット上で修正済みの事前学習済みテキストto画像モデルをファインチューニングすることで、実世界の画像において他の属性を保持したまま材質特性を編集可能にする。さらに、本モデルを材質編集済みNeRFに適用する可能性を示す。

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.