LightSwitch: Multi-view herverlichting met materiaalgestuurde diffusie

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

Auteurs: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

Samenvatting

Recente benaderingen voor 3D-relighting hebben veelbelovende resultaten laten zien bij het integreren van generatieve priors voor 2D-beeldrelighting om het uiterlijk van een 3D-representatie te veranderen terwijl de onderliggende structuur behouden blijft. Echter, generatieve priors die worden gebruikt voor 2D-relighting en die direct relighten vanuit een invoerbeeld, maken geen gebruik van intrinsieke eigenschappen van het onderwerp die kunnen worden afgeleid, noch kunnen ze multi-view data op grote schaal in overweging nemen, wat leidt tot suboptimaal relighting. In dit artikel presenteren we Lightswitch, een nieuw gefinetuned materiaal-relighting diffusieframework dat efficiënt een willekeurig aantal invoerbeelden relight naar een doelverlichtingsconditie, waarbij aanwijzingen van afgeleide intrinsieke eigenschappen worden geïntegreerd. Door multi-view en materiaalinformatie samen te gebruiken met een schaalbare denoising-methode, relight onze methode consistent en efficiënt dichte multi-view data van objecten met diverse materiaalsamenstellingen. We laten zien dat de kwaliteit van onze 2D-relightingvoorspellingen de vorige state-of-the-art relighting priors overtreft die direct relighten vanuit beelden. We demonstreren verder dat LightSwitch evenaart of overtreft in vergelijking met state-of-the-art diffusie inverse rendering-methoden bij het relighten van synthetische en echte objecten in slechts 2 minuten.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.