Alchemist: 확산 모델을 활용한 물성 파라미터 제어

초록

우리는 실제 이미지에서 물체의 거칠기, 금속성, 알베도, 투명도와 같은 재질 속성을 제어하는 방법을 제안한다. 본 방법은 사실적인 이미지 생성으로 잘 알려진 텍스트-이미지 모델의 생성적 사전 지식을 활용하여, 스칼라 값과 지시문을 통해 저수준 재질 속성을 변경한다. 제어된 재질 속성을 가진 데이터셋의 부재를 해결하기 위해, 물리 기반 재질을 적용한 객체 중심의 합성 데이터셋을 생성하였다. 이 합성 데이터셋으로 수정된 사전 학습 텍스트-이미지 모델을 미세 조정함으로써, 실제 이미지에서 다른 모든 속성을 보존하면서 재질 속성을 편집할 수 있다. 우리는 재질 편집이 적용된 NeRF에 대한 본 모델의 잠재적 응용 가능성을 보여준다.

English

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.

Alchemist: 확산 모델을 활용한 물성 파라미터 제어

Alchemist: Parametric Control of Material Properties with Diffusion Models

초록

Support