LightIt: Modelagem e Controle de Iluminação para Modelos de Difusão

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

Autores: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

Resumo

Apresentamos o LightIt, um método para controle explícito de iluminação na geração de imagens. Métodos generativos recentes carecem de controle de iluminação, que é crucial para diversos aspectos artísticos da geração de imagens, como definir o clima geral ou a aparência cinematográfica. Para superar essas limitações, propomos condicionar a geração em mapas de sombreamento e normais. Modelamos a iluminação com sombreamento de reflexão única, que inclui sombras projetadas. Primeiro, treinamos um módulo de estimativa de sombreamento para gerar um conjunto de dados de pares de imagens do mundo real e seus sombreamentos correspondentes. Em seguida, treinamos uma rede de controle utilizando o sombreamento e as normais estimadas como entrada. Nosso método demonstra geração de imagens de alta qualidade e controle de iluminação em diversas cenas. Além disso, utilizamos nosso conjunto de dados gerado para treinar um modelo de reiluminação que preserva a identidade, condicionado em uma imagem e um sombreamento alvo. Nosso método é o primeiro que permite a geração de imagens com iluminação controlável e consistente, com desempenho comparável aos métodos state-of-the-art especializados em reiluminação.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.