SpotLight: Objecten opnieuw verlichten met schaduwbegeleiding via diffusie

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Auteurs: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Samenvatting

Recent onderzoek heeft aangetoond dat diffusiemodellen kunnen worden gebruikt als krachtige neurale render-engines die kunnen worden ingezet voor het invoegen van virtuele objecten in afbeeldingen. In tegenstelling tot typische op fysica gebaseerde renderers, zijn neurale render-engines echter beperkt door het gebrek aan handmatige controle over de belichtingsopstelling, wat vaak essentieel is voor het verbeteren of personaliseren van het gewenste beeldresultaat. In dit artikel laten we zien dat nauwkeurige belichtingscontrole kan worden bereikt voor objectbelichting door eenvoudigweg de gewenste schaduwen van het object te specificeren. Verrassend genoeg laten we zien dat het injecteren van alleen de schaduw van het object in een vooraf getrainde diffusie-gebaseerde neurale renderer het in staat stelt om het object nauwkeurig te belichten volgens de gewenste lichtpositie, terwijl het object (en zijn schaduw) op passende wijze harmonieert binnen de doelachtergrondafbeelding. Onze methode, SpotLight, maakt gebruik van bestaande neurale renderbenaderingen en behaalt controleerbare belichtingsresultaten zonder extra training. Specifiek demonstreren we het gebruik ervan met twee neurale renderers uit de recente literatuur. We laten zien dat SpotLight superieure objectcompositieresultaten behaalt, zowel kwantitatief als perceptueel, zoals bevestigd door een gebruikersstudie, waarbij bestaande diffusie-gebaseerde modellen die specifiek zijn ontworpen voor belichting worden overtroffen.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.