SpotLight: Iluminação de Objetos Guiada por Sombras via Difusão

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Autores: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Resumo

Trabalhos recentes mostraram que modelos de difusão podem ser usados como poderosos motores de renderização neural que podem ser aproveitados para inserir objetos virtuais em imagens. Ao contrário dos renderizadores baseados em física típicos, no entanto, os motores de renderização neural são limitados pela falta de controle manual sobre a configuração de iluminação, que muitas vezes é essencial para melhorar ou personalizar a imagem desejada. Neste artigo, demonstramos que é possível obter um controle preciso da iluminação para a reluminação de objetos simplesmente especificando as sombras desejadas do objeto. Surpreendentemente, mostramos que ao injetar apenas a sombra do objeto em um renderizador neural baseado em difusão pré-treinado, é possível sombrear com precisão o objeto de acordo com a posição da luz desejada, harmonizando adequadamente o objeto (e sua sombra) dentro da imagem de fundo alvo. Nosso método, SpotLight, aproveita abordagens de renderização neural existentes e alcança resultados de reluminação controláveis sem treinamento adicional. Especificamente, demonstramos seu uso com dois renderizadores neurais da literatura recente. Mostramos que o SpotLight alcança resultados superiores de composição de objetos, tanto quantitativamente quanto perceptualmente, conforme confirmado por um estudo de usuários, superando modelos baseados em difusão existentes especificamente projetados para reluminação.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.