Alchemist: Parametrische Steuerung von Materialeigenschaften mit Diffusionsmodellen
Alchemist: Parametric Control of Material Properties with Diffusion Models
December 5, 2023
Autoren: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews
cs.AI
Zusammenfassung
Wir schlagen eine Methode vor, um Materialattribute von Objekten wie Rauheit, Metallizität, Albedo und Transparenz in realen Bildern zu steuern. Unsere Methode nutzt das generative Vorwissen von Text-zu-Bild-Modellen, die für ihre Fotorealismus bekannt sind, und verwendet einen Skalarwert sowie Anweisungen, um niedrigstufige Materialeigenschaften zu verändern. Um den Mangel an Datensätzen mit kontrollierten Materialattributen zu beheben, haben wir einen objektzentrierten synthetischen Datensatz mit physikalisch basierten Materialien erzeugt. Durch das Feinabstimmen eines modifizierten, vortrainierten Text-zu-Bild-Modells auf diesem synthetischen Datensatz sind wir in der Lage, Materialeigenschaften in realen Bildern zu bearbeiten, während alle anderen Attribute erhalten bleiben. Wir zeigen die potenzielle Anwendung unseres Modells für materialbearbeitete NeRFs.
English
We propose a method to control material attributes of objects like roughness,
metallic, albedo, and transparency in real images. Our method capitalizes on
the generative prior of text-to-image models known for photorealism, employing
a scalar value and instructions to alter low-level material properties.
Addressing the lack of datasets with controlled material attributes, we
generated an object-centric synthetic dataset with physically-based materials.
Fine-tuning a modified pre-trained text-to-image model on this synthetic
dataset enables us to edit material properties in real-world images while
preserving all other attributes. We show the potential application of our model
to material edited NeRFs.