Alquimista: Controle Paramétrico de Propriedades de Materiais com Modelos de Difusão

Alchemist: Parametric Control of Material Properties with Diffusion Models

December 5, 2023

Autores: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews

cs.AI

Resumo

Propomos um método para controlar atributos materiais de objetos, como rugosidade, metálico, albedo e transparência, em imagens reais. Nosso método aproveita o conhecimento prévio gerativo de modelos de texto para imagem, conhecidos por seu fotorrealismo, empregando um valor escalar e instruções para alterar propriedades materiais de baixo nível. Para lidar com a falta de conjuntos de dados com atributos materiais controlados, geramos um conjunto de dados sintético centrado em objetos com materiais baseados em física. O ajuste fino de um modelo pré-treinado de texto para imagem, modificado com base nesse conjunto de dados sintético, nos permite editar propriedades materiais em imagens do mundo real, preservando todos os outros atributos. Demonstramos a aplicação potencial do nosso modelo em NeRFs com materiais editados.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.