LightIt : Modélisation et contrôle de l'éclairage pour les modèles de diffusion

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

Auteurs: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

Résumé

Nous présentons LightIt, une méthode pour le contrôle explicite de l'éclairage dans la génération d'images. Les méthodes génératives récentes manquent de contrôle sur l'éclairage, pourtant crucial pour de nombreux aspects artistiques de la génération d'images, tels que la définition de l'ambiance générale ou de l'apparence cinématographique. Pour surmonter ces limitations, nous proposons de conditionner la génération sur des cartes d'ombrage et de normales. Nous modélisons l'éclairage avec un ombrage à un rebond, incluant les ombres portées. Nous entraînons d'abord un module d'estimation d'ombrage pour générer un ensemble de données d'images réelles et de paires d'ombrage. Ensuite, nous entraînons un réseau de contrôle utilisant l'ombrage et les normales estimés comme entrées. Notre méthode démontre une génération d'images de haute qualité et un contrôle de l'éclairage dans de nombreuses scènes. De plus, nous utilisons notre ensemble de données généré pour entraîner un modèle de rééclairage préservant l'identité, conditionné sur une image et un ombrage cible. Notre méthode est la première à permettre la génération d'images avec un éclairage contrôlable et cohérent, et elle rivalise avec les méthodes de rééclairage spécialisées de pointe.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.