LightSwitch: Multi-View-Beleuchtung mit materialgeleiteter Diffusion

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

papers.authors: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

papers.abstract

Aktuelle Ansätze für 3D-Relighting haben vielversprechende Ergebnisse gezeigt, indem sie generative Prioritäten aus dem 2D-Bildrelighting integrieren, um das Erscheinungsbild einer 3D-Darstellung zu verändern, während die zugrunde liegende Struktur erhalten bleibt. Dennoch nutzen generative Prioritäten, die für das 2D-Relighting verwendet werden und direkt aus einem Eingabebild relighten, nicht die intrinsischen Eigenschaften des Subjekts, die abgeleitet werden könnten, oder können multiview-Daten in großem Maßstab nicht berücksichtigen, was zu minderwertigem Relighting führt. In diesem Artikel stellen wir LightSwitch vor, einen neuartigen, feinabgestimmten Material-Relighting-Diffusionsrahmen, der effizient eine beliebige Anzahl von Eingabebildern auf eine Zielbeleuchtungsbedingung relightet und dabei Hinweise aus abgeleiteten intrinsischen Eigenschaften einbezieht. Durch die Verwendung von multiview- und Materialinformationen zusammen mit einem skalierbaren Denoising-Schema relightet unsere Methode konsistent und effizient dichte multiview-Daten von Objekten mit unterschiedlichen Materialzusammensetzungen. Wir zeigen, dass die Qualität unserer 2D-Relighting-Vorhersagen bisherige state-of-the-art-Relighting-Prioritäten, die direkt aus Bildern relighten, übertrifft. Darüber hinaus demonstrieren wir, dass LightSwitch state-of-the-art-Diffusions-Inverse-Rendering-Methoden beim Relighting von synthetischen und realen Objekten in nur 2 Minuten erreicht oder übertrifft.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.