LightSwitch: Reiluminación Multi-vista con Difusión Guiada por Materiales

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

Autores: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

Resumen

Los enfoques recientes para la reiluminación 3D han mostrado avances prometedores al integrar prior generativos de reiluminación de imágenes 2D para alterar la apariencia de una representación 3D mientras se preserva la estructura subyacente. Sin embargo, los prior generativos utilizados para la reiluminación 2D que iluminan directamente a partir de una imagen de entrada no aprovechan las propiedades intrínsecas del sujeto que podrían inferirse ni pueden considerar datos multivista a gran escala, lo que resulta en una reiluminación subóptima. En este artículo, proponemos LightSwitch, un novedoso marco de difusión de reiluminación de materiales ajustado finamente que reilumina eficientemente un número arbitrario de imágenes de entrada a una condición de iluminación objetivo, incorporando señales de propiedades intrínsecas inferidas. Al utilizar señales de información multivista y de materiales junto con un esquema escalable de eliminación de ruido, nuestro método reilumina de manera consistente y eficiente datos multivista densos de objetos con composiciones materiales diversas. Demostramos que la calidad de nuestra predicción de reiluminación 2D supera a los prior de reiluminación de última generación que iluminan directamente a partir de imágenes. Además, mostramos que LightSwitch iguala o supera a los métodos de última generación de representación inversa basados en difusión en la reiluminación de objetos sintéticos y reales en tan solo 2 minutos.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.