LightIt: 拡散モデルのための照明モデリングと制御

LightIt: Illumination Modeling and Control for Diffusion Models

March 15, 2024

著者: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy

cs.AI

要旨

本論文では、画像生成における明示的な照明制御のための手法「LightIt」を提案する。近年の生成手法では照明制御が欠如しており、これは全体の雰囲気や映画的な外観の設定など、画像生成の芸術的側面において重要な要素である。この制限を克服するため、我々は生成プロセスをシェーディングマップと法線マップに基づいて条件付けることを提案する。照明モデルには、影を含むシングルバウンスシェーディングを採用した。まず、実世界の画像とシェーディングのペアからなるデータセットを生成するために、シェーディング推定モジュールを学習する。次に、推定されたシェーディングと法線を入力として制御ネットワークを学習する。本手法は、多様なシーンにおいて高品質な画像生成と照明制御を実現する。さらに、生成したデータセットを用いて、画像と目標シェーディングに基づくアイデンティティ保存型の再照明モデルを学習する。本手法は、制御可能で一貫性のある照明を伴う画像生成を可能にする初めての手法であり、専門的な再照明の最先端手法と同等の性能を発揮する。

English

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.