MARBLE: CLIP空間における素材の再構成とブレンディング
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
著者: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
要旨
画像内の物体の材質を例示画像に基づいて編集することは、コンピュータビジョンとグラフィックスにおける活発な研究領域です。本論文では、CLIP空間内で材質の埋め込みを見つけ、それを事前学習済みのテキストから画像生成モデルを制御するために使用することで、材質のブレンドと微細な材質特性の再構成を行う手法MARBLEを提案します。例示画像に基づく材質編集を改善するために、ノイズ除去UNet内で材質属性を担うブロックを見つけます。2つの材質例示画像が与えられた場合、CLIP空間内で材質をブレンドするための方向を見つけます。さらに、粗さ、金属質、透明性、発光といった微細な材質属性に対するパラメトリック制御を、所望の材質属性変化の方向を予測する浅いネットワークを用いて実現します。提案手法の有効性を示すために、定性的および定量的な分析を行います。また、単一のフォワードパスで複数の編集を実行する能力や、絵画への適用可能性も提示します。
プロジェクトページ: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/