SpotLight：拡散を介した影案内オブジェクトの再照明

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

著者: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

要旨

最近の研究では、拡散モデルが強力なニューラルレンダリングエンジンとして使用でき、仮想オブジェクトを画像に挿入するために活用できることが示されています。しかしながら、典型的な物理ベースのレンダラーとは異なり、ニューラルレンダリングエンジンはしばしば望ましい画像の結果を改善したり個人化するために重要な照明設定に対する手動制御の不足に制約されています。本論文では、オブジェクトのリライティングにおいて、単純にオブジェクトの影を指定することで正確な照明制御が達成できることを示します。驚くべきことに、事前にトレーニングされた拡散ベースのニューラルレンダラーにオブジェクトの影のみを注入することで、望ましい光の位置に従ってオブジェクトを正確にシェーディングし、オブジェクト（およびその影）を目標の背景画像内で適切に調和させることができます。当社の手法SpotLightは、既存のニューラルレンダリング手法を活用し、追加のトレーニングを必要とせずに制御可能なリライティング結果を達成します。具体的には、最近の文献から2つのニューラルレンダラーを使用してその有用性を実証します。SpotLightは、既存のリライティング用に特別に設計された拡散ベースのモデルを上回る、定量的および知覚的に優れたオブジェクトのコンポジット結果を達成することを、ユーザースタディによって確認します。

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.