Alchemist: Parametrische Controle van Materiaaleigenschappen met Diffusiemodellen

Alchemist: Parametric Control of Material Properties with Diffusion Models

December 5, 2023

Auteurs: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews

cs.AI

Samenvatting

Wij stellen een methode voor om materiaaleigenschappen van objecten zoals ruwheid, metallic, albedo en transparantie in echte afbeeldingen te beheersen. Onze methode maakt gebruik van de generatieve prior van tekst-naar-beeldmodellen die bekend staan om hun fotorealisme, waarbij een scalaire waarde en instructies worden ingezet om laagniveau materiaaleigenschappen aan te passen. Om het gebrek aan datasets met gecontroleerde materiaaleigenschappen aan te pakken, hebben we een objectgericht synthetisch dataset gegenereerd met fysiek gebaseerde materialen. Het finetunen van een aangepast, vooraf getraind tekst-naar-beeldmodel op deze synthetische dataset stelt ons in staat om materiaaleigenschappen in afbeeldingen uit de echte wereld te bewerken, terwijl alle andere eigenschappen behouden blijven. We tonen de potentiële toepassing van ons model aan op materiaal bewerkte NeRFs.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.