ControlMat: Ein kontrollierter generativer Ansatz zur Materialerfassung

ControlMat: A Controlled Generative Approach to Material Capture

September 4, 2023

Autoren: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur

cs.AI

Zusammenfassung

Die Materialrekonstruktion aus einem Foto ist eine Schlüsselkomponente bei der Demokratisierung der 3D-Inhaltserstellung. Wir schlagen vor, dieses schlecht gestellte Problem als ein kontrolliertes Syntheseproblem zu formulieren und dabei die jüngsten Fortschritte bei generativen Deep Networks zu nutzen. Wir präsentieren ControlMat, eine Methode, die ausgehend von einem einzelnen Foto mit unkontrollierter Beleuchtung als Eingabe ein Diffusionsmodell konditioniert, um plausible, kachelbare, hochauflösende physikalisch basierte digitale Materialien zu erzeugen. Wir analysieren sorgfältig das Verhalten von Diffusionsmodellen für mehrkanalige Ausgaben, passen den Sampling-Prozess an, um mehrskalige Informationen zu fusionieren, und führen gerollte Diffusion ein, um sowohl Kachelbarkeit als auch gepatchte Diffusion für hochauflösende Ausgaben zu ermöglichen. Unser generativer Ansatz ermöglicht weiterhin die Erkundung einer Vielzahl von Materialien, die dem Eingabebild entsprechen könnten, und mildert so die unbekannten Beleuchtungsbedingungen. Wir zeigen, dass unser Ansatz aktuelle Inferenz- und Latentraum-Optimierungsmethoden übertrifft, und validieren sorgfältig unsere Designentscheidungen für den Diffusionsprozess. Ergänzende Materialien und zusätzliche Details sind verfügbar unter: https://gvecchio.com/controlmat/.

English

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.