Alchemist : Contrôle paramétrique des propriétés matérielles avec des modèles de diffusion

Résumé

Nous proposons une méthode pour contrôler les attributs matériels des objets tels que la rugosité, le caractère métallique, l'albédo et la transparence dans des images réelles. Notre méthode exploite l'a priori génératif des modèles texte-à-image connus pour leur photoréalisme, en utilisant une valeur scalaire et des instructions pour modifier les propriétés matérielles de bas niveau. Face au manque de jeux de données avec des attributs matériels contrôlés, nous avons généré un ensemble de données synthétique centré sur les objets avec des matériaux basés sur la physique. Le fine-tuning d'un modèle texte-à-image pré-entraîné et modifié sur cet ensemble de données synthétique nous permet de modifier les propriétés matérielles dans des images du monde réel tout en préservant tous les autres attributs. Nous montrons l'application potentielle de notre modèle à des NeRFs avec des matériaux modifiés.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.

Alchemist : Contrôle paramétrique des propriétés matérielles avec des modèles de diffusion

Alchemist: Parametric Control of Material Properties with Diffusion Models

Résumé

Support