MARBLE: Materialrekomposition und -vermischung im CLIP-Raum
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
Autoren: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
Zusammenfassung
Die Bearbeitung von Materialien von Objekten in Bildern auf der Grundlage von Beispielbildern ist ein aktives Forschungsgebiet in der Computer Vision und Grafik. Wir stellen MARBLE vor, eine Methode zur Durchführung von Materialmischungen und zur Neuzusammensetzung fein abgestufter Materialeigenschaften, indem Material-Einbettungen im CLIP-Raum gefunden und diese zur Steuerung vortrainierter Text-zu-Bild-Modelle verwendet werden. Wir verbessern die exemplarbasierte Materialbearbeitung, indem wir einen Block im Denoising-UNet identifizieren, der für die Materialzuweisung verantwortlich ist. Bei zwei Material-Beispielbildern finden wir Richtungen im CLIP-Raum, um die Materialien zu mischen. Darüber hinaus können wir eine parametrische Kontrolle über fein abgestufte Materialattribute wie Rauheit, Metallizität, Transparenz und Leuchten erreichen, indem wir ein flaches Netzwerk verwenden, um die Richtung für die gewünschte Materialattributänderung vorherzusagen. Wir führen qualitative und quantitative Analysen durch, um die Wirksamkeit unserer vorgeschlagenen Methode zu demonstrieren. Wir zeigen auch die Fähigkeit unserer Methode, mehrere Bearbeitungen in einem einzigen Vorwärtsdurchlauf durchzuführen, sowie ihre Anwendbarkeit in der Malerei.
Projektseite: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/