ChatPaper.aiChatPaper

MARBLE : Recomposition et mélange de matériaux dans l'espace CLIP

MARBLE: Material Recomposition and Blending in CLIP-Space

June 5, 2025
Auteurs: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI

Résumé

La modification des matériaux d'objets dans des images à partir d'exemples est un domaine de recherche actif en vision par ordinateur et en infographie. Nous proposons MARBLE, une méthode pour réaliser un mélange de matériaux et recomposer des propriétés de matériaux à grain fin en trouvant des embeddings de matériaux dans l'espace CLIP et en les utilisant pour contrôler des modèles pré-entraînés de génération d'images à partir de texte. Nous améliorons l'édition de matériaux basée sur des exemples en identifiant un bloc dans le UNet de débruitage responsable de l'attribution des matériaux. Étant donné deux images exemplaires de matériaux, nous trouvons des directions dans l'espace CLIP pour mélanger les matériaux. De plus, nous pouvons obtenir un contrôle paramétrique sur des attributs de matériaux à grain fin tels que la rugosité, le métallique, la transparence et la lueur en utilisant un réseau peu profond pour prédire la direction du changement d'attribut de matériau souhaité. Nous effectuons une analyse qualitative et quantitative pour démontrer l'efficacité de notre méthode proposée. Nous présentons également la capacité de notre méthode à effectuer plusieurs modifications en une seule passe avant et son applicabilité à la peinture. Page du projet : https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active area of research in computer vision and graphics. We propose MARBLE, a method for performing material blending and recomposing fine-grained material properties by finding material embeddings in CLIP-space and using that to control pre-trained text-to-image models. We improve exemplar-based material editing by finding a block in the denoising UNet responsible for material attribution. Given two material exemplar-images, we find directions in the CLIP-space for blending the materials. Further, we can achieve parametric control over fine-grained material attributes such as roughness, metallic, transparency, and glow using a shallow network to predict the direction for the desired material attribute change. We perform qualitative and quantitative analysis to demonstrate the efficacy of our proposed method. We also present the ability of our method to perform multiple edits in a single forward pass and applicability to painting. Project Page: https://marblecontrol.github.io/
PDF21June 6, 2025