MARBLE: Materiaalhercompositie en -menging in CLIP-ruimte
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
Auteurs: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
Samenvatting
Het bewerken van materiaaleigenschappen van objecten in afbeeldingen op basis van voorbeeldafbeeldingen is een actief onderzoeksgebied binnen computer vision en grafische technologie. Wij stellen MARBLE voor, een methode voor het uitvoeren van materiaalmenging en het hercomponeren van fijnmazige materiaaleigenschappen door materiaal-embeddingen te vinden in de CLIP-ruimte en deze te gebruiken om vooraf getrainde tekst-naar-afbeelding-modellen aan te sturen. We verbeteren materiaalbewerking op basis van voorbeelden door een blok in de denoising UNet te identificeren dat verantwoordelijk is voor materiaaltoewijzing. Gegeven twee materiaal-voorbeeldafbeeldingen, vinden we richtingen in de CLIP-ruimte voor het mengen van de materialen. Bovendien kunnen we parametrische controle bereiken over fijnmazige materiaalattributen zoals ruwheid, metallic, transparantie en gloed door een ondiep netwerk te gebruiken om de richting voor de gewenste materiaalattribuutverandering te voorspellen. We voeren kwalitatieve en kwantitatieve analyses uit om de effectiviteit van onze voorgestelde methode aan te tonen. We presenteren ook de mogelijkheid van onze methode om meerdere bewerkingen in één enkele voorwaartse doorloop uit te voeren en de toepasbaarheid op schilderkunst.
Projectpagina: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/