LightSwitch: 물질 기반 확산을 활용한 다중 시점 재조명

초록

최근 3D 재조명 기술은 2D 이미지 재조명 생성 사전 지식을 통합하여 3D 표현의 외관을 변경하면서도 기본 구조를 보존하는 데 유망한 성과를 보여주고 있다. 그러나 입력 이미지에서 직접 재조명을 수행하는 2D 재조명을 위한 생성 사전 지식은 추론 가능한 피사체의 내재적 특성을 활용하지 못하거나 대규모 다중 뷰 데이터를 고려하지 못해 재조명 결과가 저조한 경우가 많다. 본 논문에서는 Lightswitch라는 새로운 미세 조정된 재료 재조명 확산 프레임워크를 제안한다. 이 프레임워크는 추론된 내재적 특성의 단서를 통합하여 임의의 수의 입력 이미지를 목표 조명 조건으로 효율적으로 재조명한다. 다중 뷰 및 재료 정보 단서와 확장 가능한 노이즈 제거 기법을 함께 사용함으로써, 본 방법은 다양한 재료 구성의 물체에 대한 밀집 다중 뷰 데이터를 일관되게 효율적으로 재조명한다. 우리는 2D 재조명 예측 품질이 이미지에서 직접 재조명하는 기존 최첨단 재조명 사전 지식을 능가함을 보여준다. 또한 LightSwitch는 합성 및 실제 물체를 단 2분 만에 재조명하는 데 있어 최첨단 확산 역렌더링 방법과 동등하거나 더 나은 성능을 보임을 입증한다.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.

LightSwitch: 물질 기반 확산을 활용한 다중 시점 재조명

LightSwitch: Multi-view Relighting with Material-guided Diffusion

초록

Support