MARBLE: CLIP空間における素材の再構成とブレンディング

要旨

画像内の物体の材質を例示画像に基づいて編集することは、コンピュータビジョンとグラフィックスにおける活発な研究領域です。本論文では、CLIP空間内で材質の埋め込みを見つけ、それを事前学習済みのテキストから画像生成モデルを制御するために使用することで、材質のブレンドと微細な材質特性の再構成を行う手法MARBLEを提案します。例示画像に基づく材質編集を改善するために、ノイズ除去UNet内で材質属性を担うブロックを見つけます。2つの材質例示画像が与えられた場合、CLIP空間内で材質をブレンドするための方向を見つけます。さらに、粗さ、金属質、透明性、発光といった微細な材質属性に対するパラメトリック制御を、所望の材質属性変化の方向を予測する浅いネットワークを用いて実現します。提案手法の有効性を示すために、定性的および定量的な分析を行います。また、単一のフォワードパスで複数の編集を実行する能力や、絵画への適用可能性も提示します。プロジェクトページ: https://marblecontrol.github.io/

English

Editing materials of objects in images based on exemplar images is an active area of research in computer vision and graphics. We propose MARBLE, a method for performing material blending and recomposing fine-grained material properties by finding material embeddings in CLIP-space and using that to control pre-trained text-to-image models. We improve exemplar-based material editing by finding a block in the denoising UNet responsible for material attribution. Given two material exemplar-images, we find directions in the CLIP-space for blending the materials. Further, we can achieve parametric control over fine-grained material attributes such as roughness, metallic, transparency, and glow using a shallow network to predict the direction for the desired material attribute change. We perform qualitative and quantitative analysis to demonstrate the efficacy of our proposed method. We also present the ability of our method to perform multiple edits in a single forward pass and applicability to painting. Project Page: https://marblecontrol.github.io/

MARBLE: CLIP空間における素材の再構成とブレンディング

MARBLE: Material Recomposition and Blending in CLIP-Space

要旨

Support