ChatPaper.aiChatPaper

MARBLE: Перекомпоновка и смешение материалов в CLIP-пространстве

MARBLE: Material Recomposition and Blending in CLIP-Space

June 5, 2025
Авторы: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI

Аннотация

Редактирование материалов объектов на изображениях на основе примеров является активной областью исследований в компьютерном зрении и графике. Мы предлагаем метод MARBLE, который выполняет смешивание материалов и перекомпоновку детализированных свойств материалов путем поиска встраиваний материалов в пространстве CLIP и использования их для управления предварительно обученными моделями текста в изображение. Мы улучшаем редактирование материалов на основе примеров, находя блок в денойзинговом UNet, отвечающий за атрибуцию материалов. Для двух примеров изображений материалов мы находим направления в пространстве CLIP для их смешивания. Кроме того, мы можем достичь параметрического контроля над детализированными атрибутами материалов, такими как шероховатость, металличность, прозрачность и свечение, используя неглубокую сеть для предсказания направления желаемого изменения атрибута материала. Мы проводим качественный и количественный анализ, чтобы продемонстрировать эффективность нашего предложенного метода. Также мы представляем возможность нашего метода выполнять множественные правки за один прямой проход и применимость к рисованию. Страница проекта: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active area of research in computer vision and graphics. We propose MARBLE, a method for performing material blending and recomposing fine-grained material properties by finding material embeddings in CLIP-space and using that to control pre-trained text-to-image models. We improve exemplar-based material editing by finding a block in the denoising UNet responsible for material attribution. Given two material exemplar-images, we find directions in the CLIP-space for blending the materials. Further, we can achieve parametric control over fine-grained material attributes such as roughness, metallic, transparency, and glow using a shallow network to predict the direction for the desired material attribute change. We perform qualitative and quantitative analysis to demonstrate the efficacy of our proposed method. We also present the ability of our method to perform multiple edits in a single forward pass and applicability to painting. Project Page: https://marblecontrol.github.io/
PDF21June 6, 2025