LightIt: Verlichtingsmodellering en -controle voor diffusiemodellen

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

Auteurs: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

Samenvatting

We introduceren LightIt, een methode voor expliciete belichtingscontrole bij beeldgeneratie. Recente generatieve methoden missen belichtingscontrole, wat cruciaal is voor tal van artistieke aspecten van beeldgeneratie, zoals het bepalen van de algehele sfeer of cinematografische uitstraling. Om deze beperkingen te overwinnen, stellen we voor om de generatie te conditioneren op schaduw- en normaal kaarten. We modelleren de belichting met enkelvoudige reflectieschaduw, inclusief slagschaduwen. We trainen eerst een schattingsmodule voor schaduw om een dataset van real-world beelden en schaduwparen te genereren. Vervolgens trainen we een controle netwerk met behulp van de geschatte schaduw en normalen als invoer. Onze methode toont hoogwaardige beeldgeneratie en belichtingscontrole in talrijke scènes. Daarnaast gebruiken we onze gegenereerde dataset om een identiteitsbehoudend herbelichtingsmodel te trainen, geconditioneerd op een beeld en een doel schaduw. Onze methode is de eerste die de generatie van beelden met controleerbare, consistente belichting mogelijk maakt en presteert op het niveau van gespecialiseerde state-of-the-art herbelichtingsmethoden.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.