LightIt: Modellazione e Controllo dell'Illuminazione per Modelli di Diffusione

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

Autori: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

Abstract

Presentiamo LightIt, un metodo per il controllo esplicito dell'illuminazione nella generazione di immagini. I recenti metodi generativi mancano di controllo sull'illuminazione, aspetto cruciale per numerosi aspetti artistici della generazione di immagini, come l'impostazione dell'atmosfera generale o dell'aspetto cinematografico. Per superare queste limitazioni, proponiamo di condizionare la generazione su mappe di ombreggiatura e normali. Modelliamo l'illuminazione con un'ombreggiatura a singolo rimbalzo, che include le ombre proiettate. Inizialmente addestriamo un modulo di stima dell'ombreggiatura per generare un dataset di coppie immagini reali e ombreggiature. Successivamente, addestriamo una rete di controllo utilizzando come input l'ombreggiatura e le normali stimate. Il nostro metodo dimostra una generazione di immagini di alta qualità e un controllo dell'illuminazione in numerose scene. Inoltre, utilizziamo il nostro dataset generato per addestrare un modello di rilucentezza che preserva l'identità, condizionato su un'immagine e un'ombreggiatura target. Il nostro metodo è il primo che consente la generazione di immagini con illuminazione controllabile e coerente, ottenendo prestazioni pari ai metodi all'avanguardia specializzati nel rilucentezza.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.