ControlMat: 물성 캡처를 위한 제어 생성 접근법

초록

사진에서의 재질 복원은 3D 콘텐츠 제작의 대중화를 위한 핵심 요소입니다. 우리는 이 잘 정의되지 않은 문제를 최근 발전한 생성적 딥 네트워크를 활용하여 제어된 합성 문제로 공식화하는 것을 제안합니다. 우리는 ControlMat이라는 방법을 제시하는데, 이는 제어되지 않은 조명 조건의 단일 사진을 입력으로 받아, 확산 모델을 조건화하여 그럴듯한, 타일링 가능한, 고해상도의 물리 기반 디지털 재질을 생성합니다. 우리는 다중 채널 출력을 위한 확산 모델의 동작을 면밀히 분석하고, 다중 스케일 정보를 융합하기 위해 샘플링 프로세스를 조정하며, 타일링 가능성과 고해상도 출력을 위한 패치 확산을 가능하게 하는 롤드 확산을 도입합니다. 우리의 생성적 접근법은 더 나아가 입력 이미지에 해당할 수 있는 다양한 재질의 탐색을 허용함으로써 알려지지 않은 조명 조건을 완화합니다. 우리는 우리의 접근법이 최근의 추론 및 잠재 공간 최적화 방법들을 능가함을 보여주며, 확산 프로세스 설계 선택을 신중히 검증합니다. 보충 자료 및 추가 세부 사항은 https://gvecchio.com/controlmat/에서 확인할 수 있습니다.

English

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.

ControlMat: 물성 캡처를 위한 제어 생성 접근법

ControlMat: A Controlled Generative Approach to Material Capture

초록

Support