ControlMat : Une approche générative contrôlée pour la capture de matériaux
ControlMat: A Controlled Generative Approach to Material Capture
September 4, 2023
Auteurs: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur
cs.AI
Résumé
La reconstruction de matériaux à partir d'une photographie est un élément clé de la démocratisation de la création de contenus 3D. Nous proposons de formuler ce problème mal posé comme un problème de synthèse contrôlée, en tirant parti des récents progrès des réseaux de neurones génératifs. Nous présentons ControlMat, une méthode qui, à partir d'une seule photographie avec un éclairage non contrôlé en entrée, conditionne un modèle de diffusion pour générer des matériaux numériques plausibles, tilisables, à haute résolution et basés sur des propriétés physiques. Nous analysons minutieusement le comportement des modèles de diffusion pour les sorties multicanal, adaptons le processus d'échantillonnage pour fusionner des informations multi-échelles et introduisons la diffusion enroulée pour permettre à la fois la tilisabilité et la diffusion par patchs pour des sorties haute résolution. Notre approche générative permet en outre d'explorer une variété de matériaux qui pourraient correspondre à l'image d'entrée, atténuant ainsi les conditions d'éclairage inconnues. Nous montrons que notre méthode surpasse les récentes techniques d'inférence et d'optimisation dans l'espace latent, et validons soigneusement les choix de conception de notre processus de diffusion. Les matériaux supplémentaires et les détails complémentaires sont disponibles à l'adresse : https://gvecchio.com/controlmat/.
English
Material reconstruction from a photograph is a key component of 3D content
creation democratization. We propose to formulate this ill-posed problem as a
controlled synthesis one, leveraging the recent progress in generative deep
networks. We present ControlMat, a method which, given a single photograph with
uncontrolled illumination as input, conditions a diffusion model to generate
plausible, tileable, high-resolution physically-based digital materials. We
carefully analyze the behavior of diffusion models for multi-channel outputs,
adapt the sampling process to fuse multi-scale information and introduce rolled
diffusion to enable both tileability and patched diffusion for high-resolution
outputs. Our generative approach further permits exploration of a variety of
materials which could correspond to the input image, mitigating the unknown
lighting conditions. We show that our approach outperforms recent inference and
latent-space-optimization methods, and carefully validate our diffusion process
design choices. Supplemental materials and additional details are available at:
https://gvecchio.com/controlmat/.