ControlMat: Un Approccio Generativo Controllato per la Cattura di Materiali
ControlMat: A Controlled Generative Approach to Material Capture
September 4, 2023
Autori: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur
cs.AI
Abstract
La ricostruzione di materiali da una fotografia è un componente chiave per la democratizzazione della creazione di contenuti 3D. Proponiamo di formulare questo problema mal posto come un problema di sintesi controllata, sfruttando i recenti progressi nelle reti neurali generative. Presentiamo ControlMat, un metodo che, data in input una singola fotografia con illuminazione non controllata, condiziona un modello di diffusione per generare materiali digitali fisicamente basati, plausibili, ripetibili e ad alta risoluzione. Analizziamo attentamente il comportamento dei modelli di diffusione per output multi-canale, adattiamo il processo di campionamento per fondere informazioni a più scale e introduciamo la diffusione arrotolata per abilitare sia la ripetibilità che la diffusione a patch per output ad alta risoluzione. Il nostro approccio generativo permette inoltre di esplorare una varietà di materiali che potrebbero corrispondere all'immagine di input, mitigando le condizioni di illuminazione sconosciute. Dimostriamo che il nostro approccio supera i recenti metodi di inferenza e ottimizzazione nello spazio latente e convalidiamo attentamente le scelte di progettazione del nostro processo di diffusione. Materiali supplementari e dettagli aggiuntivi sono disponibili all'indirizzo: https://gvecchio.com/controlmat/.
English
Material reconstruction from a photograph is a key component of 3D content
creation democratization. We propose to formulate this ill-posed problem as a
controlled synthesis one, leveraging the recent progress in generative deep
networks. We present ControlMat, a method which, given a single photograph with
uncontrolled illumination as input, conditions a diffusion model to generate
plausible, tileable, high-resolution physically-based digital materials. We
carefully analyze the behavior of diffusion models for multi-channel outputs,
adapt the sampling process to fuse multi-scale information and introduce rolled
diffusion to enable both tileability and patched diffusion for high-resolution
outputs. Our generative approach further permits exploration of a variety of
materials which could correspond to the input image, mitigating the unknown
lighting conditions. We show that our approach outperforms recent inference and
latent-space-optimization methods, and carefully validate our diffusion process
design choices. Supplemental materials and additional details are available at:
https://gvecchio.com/controlmat/.