炼金术士：使用扩散模型对材料属性进行参数化控制

摘要

我们提出了一种方法，用于控制真实图像中物体的材质属性，如粗糙度、金属感、反照率和透明度。我们的方法利用了文本到图像模型的生成先验，该模型以逼真效果著称，利用标量值和指令来改变低级材质属性。针对缺乏具有受控材质属性的数据集的问题，我们生成了一个以物体为中心的合成数据集，其中包含基于物理的材质。通过在这个合成数据集上微调修改后的预训练文本到图像模型，我们能够编辑真实世界图像中的材质属性，同时保留所有其他属性。我们展示了我们的模型在编辑材质的 NeRFs 中的潜在应用。

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.

炼金术士：使用扩散模型对材料属性进行参数化控制

Alchemist: Parametric Control of Material Properties with Diffusion Models

摘要

Support