Алхимик: Параметрическое управление свойствами материалов с использованием моделей диффузии

Alchemist: Parametric Control of Material Properties with Diffusion Models

December 5, 2023

Авторы: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun, Fredo Durand, William T. Freeman, Mark Matthews

cs.AI

Аннотация

Мы предлагаем метод управления материальными атрибутами объектов, такими как шероховатость, металличность, альбедо и прозрачность, в реальных изображениях. Наш метод использует генеративный потенциал моделей "текст-изображение", известных своей фотореалистичностью, применяя скалярное значение и инструкции для изменения низкоуровневых свойств материалов. Учитывая отсутствие наборов данных с контролируемыми материальными атрибутами, мы создали синтетический набор данных, ориентированный на объекты и использующий физически обоснованные материалы. Тонкая настройка модифицированной предварительно обученной модели "текст-изображение" на этом синтетическом наборе данных позволяет нам редактировать свойства материалов в изображениях реального мира, сохраняя все остальные атрибуты. Мы демонстрируем потенциальное применение нашей модели для редактирования материалов в NeRF.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.