SpotLight: Schatten-geführte Objektbeleuchtung durch Diffusion

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Autoren: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Zusammenfassung

Neueste Arbeiten haben gezeigt, dass Diffusionsmodelle als leistungsstarke neuronale Rendering-Engines eingesetzt werden können, die dazu genutzt werden können, virtuelle Objekte in Bilder einzufügen. Im Gegensatz zu typischen physikbasierten Renderern sind neuronale Rendering-Engines jedoch durch den Mangel an manueller Steuerung über das Beleuchtungssetup begrenzt, was oft entscheidend ist, um das gewünschte Bildergebnis zu verbessern oder zu personalisieren. In diesem Paper zeigen wir, dass eine präzise Steuerung der Beleuchtung für das Umgestalten von Objekten einfach durch die Spezifizierung der gewünschten Schatten des Objekts erreicht werden kann. Überraschenderweise zeigen wir, dass allein das Einbringen des Schattens des Objekts in einen vortrainierten, auf Diffusion basierenden neuronalen Renderer es ermöglicht, das Objekt genau entsprechend der gewünschten Lichtposition zu schattieren, während es das Objekt (und seinen Schatten) harmonisch in das Hintergrundbild einfügt. Unsere Methode, SpotLight, nutzt bestehende neuronale Rendering-Ansätze und erzielt steuerbare Ergebnisse beim Umgestalten ohne zusätzliches Training. Insbesondere demonstrieren wir die Anwendung mit zwei neuronalen Renderern aus der aktuellen Literatur. Wir zeigen, dass SpotLight überlegene Objekt-Kompositionsergebnisse erzielt, sowohl quantitativ als auch wahrnehmungsmäßig, wie von einer Benutzerstudie bestätigt, und dabei bestehende, speziell für das Umgestalten konzipierte, auf Diffusion basierende Modelle übertrifft.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.