LightIt: 확산 모델을 위한 조명 모델링 및 제어

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

저자: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

초록

우리는 이미지 생성을 위한 명시적 조명 제어 방법인 LightIt를 소개한다. 최근의 생성 방법들은 조명 제어가 부족한데, 이는 전체 분위기 설정이나 영화적 외관과 같은 이미지 생성의 다양한 예술적 측면에서 중요하다. 이러한 한계를 극복하기 위해, 우리는 생성 과정을 쉐이딩(shading)과 노멀 맵(normal map)에 조건화하는 방법을 제안한다. 우리는 캐스트 섀도우(cast shadows)를 포함한 단일 반사(single bounce) 쉐이딩으로 조명을 모델링한다. 먼저, 실제 이미지와 쉐이딩 쌍의 데이터셋을 생성하기 위해 쉐이딩 추정 모듈을 학습시킨다. 그런 다음, 추정된 쉐이딩과 노멀을 입력으로 사용하여 제어 네트워크를 학습시킨다. 우리의 방법은 다양한 장면에서 고품질의 이미지 생성과 조명 제어를 보여준다. 또한, 우리는 생성된 데이터셋을 사용하여 이미지와 목표 쉐이딩에 조건화된 아이덴티티 보존(identity-preserving) 리라이팅(relighting) 모델을 학습시킨다. 우리의 방법은 일관된 조명을 가진 이미지의 생성을 가능하게 하는 최초의 방법이며, 특화된 최신 리라이팅 방법과 동등한 성능을 보인다.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.