LightSwitch : Rééclairage multi-vues avec diffusion guidée par les matériaux

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

papers.authors: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

papers.abstract

Les approches récentes pour le rééclairage 3D ont montré des résultats prometteurs en intégrant des préalables génératifs de rééclairage d'images 2D pour modifier l'apparence d'une représentation 3D tout en préservant la structure sous-jacente. Cependant, les préalables génératifs utilisés pour le rééclairage 2D qui rééclairent directement à partir d'une image d'entrée ne tirent pas parti des propriétés intrinsèques du sujet qui peuvent être inférées ou ne peuvent pas prendre en compte des données multi-vues à grande échelle, ce qui conduit à un rééclairage de qualité inférieure. Dans cet article, nous proposons Lightswitch, un nouveau framework de diffusion finement ajusté pour le rééclairage de matériaux, qui rééclaire efficacement un nombre arbitraire d'images d'entrée vers une condition d'éclairage cible tout en incorporant des indices provenant de propriétés intrinsèques inférées. En utilisant des indices multi-vues et de matériaux ainsi qu'un schéma de débruitage scalable, notre méthode rééclaire de manière cohérente et efficace des données multi-vues denses d'objets avec des compositions de matériaux diverses. Nous montrons que la qualité de notre prédiction de rééclairage 2D dépasse les préalables de rééclairage de pointe précédents qui rééclairent directement à partir d'images. Nous démontrons en outre que LightSwitch égal ou surpasse les méthodes de rendu inverse par diffusion de pointe en rééclairant des objets synthétiques et réels en aussi peu que 2 minutes.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.