Alchemist: Controllo Parametrico delle Proprietà dei Materiali con Modelli di Diffusione

Alchemist: Parametric Control of Material Properties with Diffusion Models

December 5, 2023

Autori: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews

cs.AI

Abstract

Proponiamo un metodo per controllare gli attributi materiali degli oggetti come ruvidezza, metallicità, albedo e trasparenza in immagini reali. Il nostro metodo sfrutta il prior generativo dei modelli testo-immagine noti per il loro fotorealismo, utilizzando un valore scalare e istruzioni per modificare le proprietà materiali a basso livello. Per ovviare alla mancanza di dataset con attributi materiali controllati, abbiamo generato un dataset sintetico centrato sugli oggetti con materiali basati su principi fisici. Il fine-tuning di un modello pre-addestrato testo-immagine modificato su questo dataset sintetico ci consente di modificare le proprietà materiali in immagini del mondo reale preservando tutti gli altri attributi. Mostriamo la potenziale applicazione del nostro modello a NeRFs con materiali modificati.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.