煉金術士：使用擴散模型對材料特性進行參數化控制

摘要

我們提出了一種控制物體材質屬性（如粗糙度、金屬質、反照率和透明度）的方法，應用於真實圖像。我們的方法利用了文本到圖像模型的生成先驗，該模型以逼真著稱，利用標量值和指令來改變低級材質屬性。鑒於缺乏具有受控材質屬性的數據集，我們生成了一個以物體為中心的合成數據集，其中包含基於物理的材料。通過在這個合成數據集上微調修改過的預訓練文本到圖像模型，我們能夠在保留所有其他屬性的同時編輯真實世界圖像中的材質屬性。我們展示了我們的模型對於編輯材質的 NeRFs 的潛在應用。

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.

煉金術士：使用擴散模型對材料特性進行參數化控制

Alchemist: Parametric Control of Material Properties with Diffusion Models

摘要

Support