SpotLight: Переосвещение объектов с управляемыми тенями через диффузию

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Авторы: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Аннотация

Недавние исследования показали, что модели диффузии могут быть использованы в качестве мощных нейронных графических движков, которые могут быть задействованы для вставки виртуальных объектов на изображения. В отличие от типичных физически основанных рендереров, нейронные графические движки ограничены отсутствием ручного контроля над настройкой освещения, что часто является важным для улучшения или персонализации желаемого изображения. В данной статье мы показываем, что точный контроль освещения может быть достигнут для переосвещения объекта просто путем указания желаемых теней объекта. Довольно неожиданно мы показываем, что внедрение только тени объекта в предварительно обученный нейронный рендерер на основе диффузии позволяет ему точно затенять объект в соответствии с желаемым положением света, а также гармонично вписывать объект (и его тень) в целевое фоновое изображение. Наш метод, SpotLight, использует существующие подходы нейронного рендеринга и достигает управляемых результатов переосвещения без дополнительного обучения. В частности, мы демонстрируем его использование с двумя нейронными рендерерами из недавней литературы. Мы показываем, что SpotLight достигает превосходных результатов композирования объектов как количественно, так и восприятий, подтвержденных пользовательским исследованием, превосходя существующие модели на основе диффузии, специально разработанные для переосвещения.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.