ChatPaper.aiChatPaper

MARBLE: Recomposición y Mezcla de Materiales en el Espacio CLIP

MARBLE: Material Recomposition and Blending in CLIP-Space

June 5, 2025
Autores: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI

Resumen

La edición de materiales de objetos en imágenes basada en imágenes ejemplares es un área activa de investigación en visión por computadora y gráficos. Proponemos MARBLE, un método para realizar mezclas de materiales y recomponer propiedades de materiales a nivel detallado mediante la búsqueda de incrustaciones de materiales en el espacio CLIP y su uso para controlar modelos preentrenados de texto a imagen. Mejoramos la edición de materiales basada en ejemplares al identificar un bloque en la UNet de eliminación de ruido responsable de la atribución de materiales. Dadas dos imágenes ejemplares de materiales, encontramos direcciones en el espacio CLIP para mezclar los materiales. Además, podemos lograr control paramétrico sobre atributos detallados de materiales como rugosidad, metalicidad, transparencia y brillo utilizando una red superficial para predecir la dirección del cambio deseado en el atributo del material. Realizamos análisis cualitativos y cuantitativos para demostrar la eficacia de nuestro método propuesto. También presentamos la capacidad de nuestro método para realizar múltiples ediciones en una sola pasada hacia adelante y su aplicabilidad en la pintura. Página del proyecto: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active area of research in computer vision and graphics. We propose MARBLE, a method for performing material blending and recomposing fine-grained material properties by finding material embeddings in CLIP-space and using that to control pre-trained text-to-image models. We improve exemplar-based material editing by finding a block in the denoising UNet responsible for material attribution. Given two material exemplar-images, we find directions in the CLIP-space for blending the materials. Further, we can achieve parametric control over fine-grained material attributes such as roughness, metallic, transparency, and glow using a shallow network to predict the direction for the desired material attribute change. We perform qualitative and quantitative analysis to demonstrate the efficacy of our proposed method. We also present the ability of our method to perform multiple edits in a single forward pass and applicability to painting. Project Page: https://marblecontrol.github.io/
PDF21June 6, 2025