LightIt: Моделирование и управление освещением для моделей диффузного рассеивания

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

Авторы: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

Аннотация

Мы представляем LightIt, метод явного управления освещением для генерации изображений. Недавние методы генерации не обладают контролем освещения, что критически важно для многих художественных аспектов генерации изображений, таких как установление общего настроения или кинематографического вида. Для преодоления этих ограничений мы предлагаем условие генерации на картах теней и нормалей. Мы моделируем освещение с помощью однократного отражения, включая отбрасывание теней. Сначала мы обучаем модуль оценки теней для создания набора данных из реальных изображений и пар теней. Затем мы обучаем сеть управления, используя оцененные тени и нормали в качестве входных данных. Наш метод продемонстрировал генерацию изображений высокого качества и управление освещением во многих сценах. Кроме того, мы используем наш созданный набор данных для обучения модели переосвещения, сохраняющей идентичность, условленной изображением и целевым освещением. Наш метод является первым, который позволяет генерацию изображений с управляемым, согласованным освещением и работает на уровне специализированных методов переосвещения новейших достижений.

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.