Alquimista: Control Paramétrico de Propiedades Materiales con Modelos de Difusión

Alchemist: Parametric Control of Material Properties with Diffusion Models

December 5, 2023

Autores: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews

cs.AI

Resumen

Proponemos un método para controlar atributos materiales de objetos como rugosidad, metalicidad, albedo y transparencia en imágenes reales. Nuestro método aprovecha el conocimiento previo generativo de los modelos de texto a imagen, reconocidos por su fotorrealismo, utilizando un valor escalar e instrucciones para modificar propiedades materiales de bajo nivel. Para abordar la falta de conjuntos de datos con atributos materiales controlados, generamos un conjunto de datos sintético centrado en objetos con materiales basados en física. El ajuste fino de un modelo preentrenado de texto a imagen modificado en este conjunto de datos sintético nos permite editar propiedades materiales en imágenes del mundo real mientras preservamos todos los demás atributos. Mostramos la aplicación potencial de nuestro modelo en NeRFs con materiales editados.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.