ControlMat: Контролируемый генеративный подход к захвату материалов
ControlMat: A Controlled Generative Approach to Material Capture
September 4, 2023
Авторы: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur
cs.AI
Аннотация
Реконструкция материала по фотографии является ключевым компонентом демократизации создания 3D-контента. Мы предлагаем сформулировать эту некорректно поставленную задачу как задачу управляемого синтеза, используя последние достижения в области генеративных глубоких сетей. Мы представляем ControlMat — метод, который, получая на вход одну фотографию с неконтролируемым освещением, использует диффузионную модель для генерации правдоподобных, тайлируемых, высококачественных цифровых материалов на основе физических принципов. Мы тщательно анализируем поведение диффузионных моделей для многоканальных выходных данных, адаптируем процесс сэмплинга для слияния информации на разных масштабах и вводим метод "rolled diffusion" для обеспечения тайлируемости, а также "patched diffusion" для получения высококачественных результатов. Наш генеративный подход также позволяет исследовать разнообразие материалов, которые могут соответствовать входному изображению, смягчая влияние неизвестных условий освещения. Мы демонстрируем, что наш подход превосходит современные методы вывода и оптимизации в латентном пространстве, и тщательно проверяем наши проектные решения в рамках диффузионного процесса. Дополнительные материалы и подробности доступны по адресу: https://gvecchio.com/controlmat/.
English
Material reconstruction from a photograph is a key component of 3D content
creation democratization. We propose to formulate this ill-posed problem as a
controlled synthesis one, leveraging the recent progress in generative deep
networks. We present ControlMat, a method which, given a single photograph with
uncontrolled illumination as input, conditions a diffusion model to generate
plausible, tileable, high-resolution physically-based digital materials. We
carefully analyze the behavior of diffusion models for multi-channel outputs,
adapt the sampling process to fuse multi-scale information and introduce rolled
diffusion to enable both tileability and patched diffusion for high-resolution
outputs. Our generative approach further permits exploration of a variety of
materials which could correspond to the input image, mitigating the unknown
lighting conditions. We show that our approach outperforms recent inference and
latent-space-optimization methods, and carefully validate our diffusion process
design choices. Supplemental materials and additional details are available at:
https://gvecchio.com/controlmat/.