MARBLE: Ricomposizione e Fusione di Materiali nello Spazio CLIP
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
Autori: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
Abstract
La modifica dei materiali degli oggetti nelle immagini basata su immagini esemplari è un'area di ricerca attiva nel campo della visione artificiale e della grafica. Proponiamo MARBLE, un metodo per eseguire la fusione di materiali e ricomporre le proprietà dei materiali a grana fine trovando gli embedding dei materiali nello spazio CLIP e utilizzandoli per controllare modelli pre-addestrati di generazione di immagini da testo. Miglioriamo la modifica dei materiali basata su esemplari individuando un blocco nel denoising UNet responsabile dell'attribuzione dei materiali. Date due immagini esemplari di materiali, troviamo direzioni nello spazio CLIP per fondere i materiali. Inoltre, possiamo ottenere un controllo parametrico su attributi dei materiali a grana fine come ruvidezza, metallicità, trasparenza e luminosità utilizzando una rete poco profonda per prevedere la direzione del cambiamento desiderato dell'attributo del materiale. Eseguiamo analisi qualitative e quantitative per dimostrare l'efficacia del nostro metodo proposto. Presentiamo anche la capacità del nostro metodo di eseguire più modifiche in un singolo passaggio in avanti e l'applicabilità alla pittura.
Pagina del progetto: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/