LightSwitch: Illuminazione multi-vista con diffusione guidata dai materiali

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

Autori: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

Abstract

Gli approcci recenti per l'illuminazione 3D hanno mostrato promettenti risultati nell'integrare prior generativi di illuminazione 2D per alterare l'aspetto di una rappresentazione 3D preservando la struttura sottostante. Tuttavia, i prior generativi utilizzati per l'illuminazione 2D che illuminano direttamente da un'immagine di input non sfruttano le proprietà intrinseche del soggetto che possono essere inferite né considerano dati multi-vista su larga scala, portando a risultati di illuminazione inferiori. In questo articolo, proponiamo Lightswitch, un innovativo framework di diffusione per l'illuminazione dei materiali, che illumina in modo efficiente un numero arbitrario di immagini di input in una condizione di illuminazione target, incorporando indizi derivati da proprietà intrinseche inferite. Utilizzando insieme indizi multi-vista e informazioni sui materiali, insieme a uno schema di denoising scalabile, il nostro metodo illumina in modo consistente ed efficiente dati multi-vista densi di oggetti con composizioni materiali diverse. Dimostriamo che la qualità della nostra previsione di illuminazione 2D supera i precedenti prior di illuminazione all'avanguardia che illuminano direttamente dalle immagini. Inoltre, mostriamo che LightSwitch eguaglia o supera i metodi all'avanguardia di inverse rendering basati su diffusione nell'illuminazione di oggetti sintetici e reali in appena 2 minuti.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.