MARBLE: Recomposición y Mezcla de Materiales en el Espacio CLIP
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
Autores: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
Resumen
La edición de materiales de objetos en imágenes basada en imágenes ejemplares es un área activa de investigación en visión por computadora y gráficos. Proponemos MARBLE, un método para realizar mezclas de materiales y recomponer propiedades de materiales a nivel detallado mediante la búsqueda de incrustaciones de materiales en el espacio CLIP y su uso para controlar modelos preentrenados de texto a imagen. Mejoramos la edición de materiales basada en ejemplares al identificar un bloque en la UNet de eliminación de ruido responsable de la atribución de materiales. Dadas dos imágenes ejemplares de materiales, encontramos direcciones en el espacio CLIP para mezclar los materiales. Además, podemos lograr control paramétrico sobre atributos detallados de materiales como rugosidad, metalicidad, transparencia y brillo utilizando una red superficial para predecir la dirección del cambio deseado en el atributo del material. Realizamos análisis cualitativos y cuantitativos para demostrar la eficacia de nuestro método propuesto. También presentamos la capacidad de nuestro método para realizar múltiples ediciones en una sola pasada hacia adelante y su aplicabilidad en la pintura.
Página del proyecto: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/