SpotLight: Iluminación de objetos guiada por sombras a través de difusión

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Autores: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Resumen

Trabajos recientes han demostrado que los modelos de difusión pueden utilizarse como potentes motores de renderizado neuronal que pueden aprovecharse para insertar objetos virtuales en imágenes. Sin embargo, a diferencia de los renderizadores basados en física típicos, los motores de renderizado neuronal están limitados por la falta de control manual sobre la configuración de iluminación, que a menudo es esencial para mejorar o personalizar el resultado de la imagen deseada. En este artículo, mostramos que se puede lograr un control preciso de la iluminación para el reiluminado de objetos simplemente especificando las sombras deseadas del objeto. Sorprendentemente, demostramos que al inyectar solo la sombra del objeto en un renderizador neuronal basado en difusión preentrenado, este puede sombrear con precisión el objeto según la posición de la luz deseada, armonizando adecuadamente el objeto (y su sombra) dentro de la imagen de fondo objetivo. Nuestro método, SpotLight, aprovecha enfoques de renderizado neuronal existentes y logra resultados de reiluminado controlables sin necesidad de entrenamiento adicional. Específicamente, demostramos su uso con dos renderizadores neuronales de la literatura reciente. Mostramos que SpotLight logra resultados de composición de objetos superiores, tanto cuantitativa como perceptualmente, según lo confirmado por un estudio de usuarios, superando a los modelos basados en difusión existentes diseñados específicamente para el reiluminado.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.