ControlMat: Een Gecontroleerde Generatieve Benadering voor Materiaalcapture

ControlMat: A Controlled Generative Approach to Material Capture

September 4, 2023

Auteurs: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur

cs.AI

Samenvatting

Materiaalreconstructie vanuit een foto is een sleutelcomponent in de democratisering van 3D-inhoudcreatie. Wij stellen voor om dit slecht gestelde probleem te formuleren als een gecontroleerd syntheseprobleem, waarbij we gebruikmaken van de recente vooruitgang in generatieve deep networks. Wij presenteren ControlMat, een methode die, uitgaande van een enkele foto met ongecontroleerde belichting als invoer, een diffusiemodel conditioneert om plausibele, naadloos herhaalbare, hoogwaardige fysiek gebaseerde digitale materialen te genereren. We analyseren zorgvuldig het gedrag van diffusiemodellen voor meerkanaalsuitvoer, passen het bemonsteringsproces aan om informatie op meerdere schalen te fuseren en introduceren gerolde diffusie om zowel naadloosheid als gepatchte diffusie voor hoogwaardige uitvoer mogelijk te maken. Onze generatieve aanpak maakt verder de verkenning mogelijk van een verscheidenheid aan materialen die zouden kunnen overeenkomen met de invoerafbeelding, waardoor de onbekende belichtingsomstandigheden worden gemitigeerd. We tonen aan dat onze aanpak recente inferentie- en latentieruimte-optimalisatiemethoden overtreft en valideren zorgvuldig onze ontwerpkeuzes voor het diffusieproces. Aanvullende materialen en extra details zijn beschikbaar op: https://gvecchio.com/controlmat/.

English

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.