SpotLight : Éclairage d'objets guidé par les ombres via la diffusion

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Auteurs: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Résumé

Des travaux récents ont montré que les modèles de diffusion peuvent être utilisés comme des moteurs de rendu neuronaux puissants qui peuvent être exploités pour insérer des objets virtuels dans des images. Contrairement aux moteurs de rendu basés sur la physique typiques, cependant, les moteurs de rendu neuronaux sont limités par le manque de contrôle manuel sur la configuration de l'éclairage, qui est souvent essentiel pour améliorer ou personnaliser le résultat d'image souhaité. Dans cet article, nous montrons que le contrôle précis de l'éclairage peut être obtenu pour le reéclairage d'objets simplement en spécifiant les ombres désirées de l'objet. Assez surprenamment, nous montrons que l'injection uniquement de l'ombre de l'objet dans un moteur de rendu neuronal basé sur la diffusion pré-entraîné lui permet de ombrer précisément l'objet selon la position de la lumière souhaitée, tout en harmonisant correctement l'objet (et son ombre) dans l'image d'arrière-plan cible. Notre méthode, SpotLight, exploite les approches de rendu neuronal existantes et obtient des résultats de reéclairage contrôlables sans formation supplémentaire. Plus précisément, nous démontrons son utilisation avec deux moteurs de rendu neuronaux de la littérature récente. Nous montrons que SpotLight obtient des résultats de composition d'objets supérieurs, à la fois quantitativement et perceptuellement, comme confirmé par une étude utilisateur, surpassant les modèles basés sur la diffusion existants spécifiquement conçus pour le reéclairage.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.