LightIt: Modelado y Control de Iluminación para Modelos de Difusión

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

Autores: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

Resumen

Presentamos LightIt, un método para el control explícito de la iluminación en la generación de imágenes. Los métodos generativos recientes carecen de control sobre la iluminación, un aspecto crucial para numerosos elementos artísticos en la generación de imágenes, como establecer el ambiente general o la apariencia cinematográfica. Para superar estas limitaciones, proponemos condicionar la generación mediante mapas de sombreado y normales. Modelamos la iluminación con sombreado de un solo rebote, que incluye sombras proyectadas. Primero entrenamos un módulo de estimación de sombreado para generar un conjunto de datos de pares de imágenes del mundo real y sus sombreados correspondientes. Luego, entrenamos una red de control utilizando el sombreado y las normales estimadas como entrada. Nuestro método demuestra una generación de imágenes de alta calidad y un control preciso de la iluminación en numerosas escenas. Además, utilizamos nuestro conjunto de datos generado para entrenar un modelo de reiluminación que preserva la identidad, condicionado por una imagen y un sombreado objetivo. Nuestro método es el primero que permite la generación de imágenes con iluminación controlable y consistente, y su rendimiento es comparable con los métodos más avanzados especializados en reiluminación.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.