LightIt: Beleuchtungsmodellierung und -steuerung für Diffusionsmodelle
LightIt: Illumination Modeling and Control for Diffusion Models
March 15, 2024
papers.authors: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy
cs.AI
papers.abstract
Wir stellen LightIt vor, eine Methode zur expliziten Beleuchtungssteuerung für die Bildgenerierung. Aktuelle generative Methoden weisen einen Mangel an Beleuchtungssteuerung auf, die für zahlreiche künstlerische Aspekte der Bildgenerierung wie die Einstellung der Gesamtstimmung oder kinematografisches Erscheinungsbild entscheidend ist. Um diese Einschränkungen zu überwinden, schlagen wir vor, die Generierung an Schatten- und Normalen-Maps zu binden. Wir modellieren die Beleuchtung mit Einzelreflexionsschattierung, die auch Wurfschatten umfasst. Zunächst trainieren wir ein Schattenschätzmodul, um einen Datensatz von realen Bildern und Schattierungs-Paaren zu generieren. Anschließend trainieren wir ein Steuerungsnetzwerk unter Verwendung der geschätzten Schattierungen und Normalen als Eingabe. Unsere Methode zeigt hochwertige Bildgenerierung und Beleuchtungssteuerung in zahlreichen Szenen. Darüber hinaus verwenden wir unseren generierten Datensatz, um ein identitätserhaltendes Relighting-Modell zu trainieren, das an ein Bild und eine Zielbeleuchtung gebunden ist. Unsere Methode ist die erste, die die Generierung von Bildern mit steuerbarer, konsistenter Beleuchtung ermöglicht und auf Augenhöhe mit spezialisierten Relighting-Methoden auf dem neuesten Stand der Technik arbeitet.
English
We introduce LightIt, a method for explicit illumination control for image
generation. Recent generative methods lack lighting control, which is crucial
to numerous artistic aspects of image generation such as setting the overall
mood or cinematic appearance. To overcome these limitations, we propose to
condition the generation on shading and normal maps. We model the lighting with
single bounce shading, which includes cast shadows. We first train a shading
estimation module to generate a dataset of real-world images and shading pairs.
Then, we train a control network using the estimated shading and normals as
input. Our method demonstrates high-quality image generation and lighting
control in numerous scenes. Additionally, we use our generated dataset to train
an identity-preserving relighting model, conditioned on an image and a target
shading. Our method is the first that enables the generation of images with
controllable, consistent lighting and performs on par with specialized
relighting state-of-the-art methods.