MARBLE: Recomposição e Mistura de Materiais no Espaço CLIP
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
Autores: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
Resumo
A edição de materiais de objetos em imagens com base em imagens exemplares é uma área ativa de pesquisa em visão computacional e gráficos. Propomos o MARBLE, um método para realizar a mistura de materiais e recompor propriedades de materiais em nível granular, encontrando embeddings de materiais no espaço CLIP e utilizando-os para controlar modelos pré-treinados de texto para imagem. Melhoramos a edição de materiais baseada em exemplares ao identificar um bloco na UNet de redução de ruído responsável pela atribuição de materiais. Dadas duas imagens exemplares de materiais, encontramos direções no espaço CLIP para misturar os materiais. Além disso, podemos obter controle paramétrico sobre atributos granulares de materiais, como rugosidade, metalicidade, transparência e brilho, utilizando uma rede rasa para prever a direção da mudança desejada no atributo do material. Realizamos análises qualitativas e quantitativas para demonstrar a eficácia do nosso método proposto. Também apresentamos a capacidade do nosso método de realizar múltiplas edições em uma única passagem direta e sua aplicabilidade em pinturas.
Página do Projeto: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/