ControlMat: Un Enfoque Generativo Controlado para la Captura de Materiales

ControlMat: A Controlled Generative Approach to Material Capture

September 4, 2023

Autores: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur

cs.AI

Resumen

La reconstrucción de materiales a partir de una fotografía es un componente clave en la democratización de la creación de contenido 3D. Proponemos formular este problema mal definido como uno de síntesis controlada, aprovechando los avances recientes en redes neuronales profundas generativas. Presentamos ControlMat, un método que, dada una única fotografía con iluminación no controlada como entrada, condiciona un modelo de difusión para generar materiales digitales plausibles, repetibles y de alta resolución basados en física. Analizamos cuidadosamente el comportamiento de los modelos de difusión para salidas multicanal, adaptamos el proceso de muestreo para fusionar información a múltiples escalas e introducimos la difusión enrollada para permitir tanto la repetibilidad como la difusión por parches para salidas de alta resolución. Nuestro enfoque generativo permite además explorar una variedad de materiales que podrían corresponder a la imagen de entrada, mitigando las condiciones de iluminación desconocidas. Demostramos que nuestro método supera a los enfoques recientes de inferencia y optimización en el espacio latente, y validamos cuidadosamente las decisiones de diseño de nuestro proceso de difusión. Los materiales complementarios y detalles adicionales están disponibles en: https://gvecchio.com/controlmat/.

English

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.