MARBLE: CLIP-공간에서의 물질 재조합 및 혼합
MARBLE: Material Recomposition and Blending in CLIP-Space
June 5, 2025
저자: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani
cs.AI
초록
이미지 내 객체의 재질을 예시 이미지를 기반으로 편집하는 것은 컴퓨터 비전 및 그래픽스 분야에서 활발히 연구되는 주제입니다. 본 연구에서는 CLIP 공간 내에서 재질 임베딩을 찾고 이를 사전 학습된 텍스트-이미지 모델을 제어하는 데 활용하여 세부 재질 속성을 혼합 및 재구성하는 MARBLE 방법을 제안합니다. 예시 기반 재질 편집을 개선하기 위해, 디노이징 UNet 내에서 재질 속성을 담당하는 블록을 찾아냅니다. 두 개의 재질 예시 이미지가 주어졌을 때, CLIP 공간 내에서 재질을 혼합하기 위한 방향을 탐색합니다. 또한, 얕은 신경망을 사용하여 원하는 재질 속성 변화를 위한 방향을 예측함으로써 거칠기, 금속성, 투명도, 발광과 같은 세부 재질 속성에 대한 파라미터적 제어를 달성할 수 있습니다. 제안된 방법의 효용성을 입증하기 위해 정성적 및 정량적 분석을 수행하였으며, 단일 순방향 전달에서 다중 편집을 수행할 수 있는 능력과 회화에의 적용 가능성도 제시합니다.
프로젝트 페이지: https://marblecontrol.github.io/
English
Editing materials of objects in images based on exemplar images is an active
area of research in computer vision and graphics. We propose MARBLE, a method
for performing material blending and recomposing fine-grained material
properties by finding material embeddings in CLIP-space and using that to
control pre-trained text-to-image models. We improve exemplar-based material
editing by finding a block in the denoising UNet responsible for material
attribution. Given two material exemplar-images, we find directions in the
CLIP-space for blending the materials. Further, we can achieve parametric
control over fine-grained material attributes such as roughness, metallic,
transparency, and glow using a shallow network to predict the direction for the
desired material attribute change. We perform qualitative and quantitative
analysis to demonstrate the efficacy of our proposed method. We also present
the ability of our method to perform multiple edits in a single forward pass
and applicability to painting.
Project Page: https://marblecontrol.github.io/