LightSwitch: Reiluminação Multi-visual com Difusão Guiada por Materiais

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

Autores: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

Resumo

Abordagens recentes para reiluminação 3D têm mostrado promessa na integração de priors generativos de reiluminação 2D para alterar a aparência de uma representação 3D enquanto preserva a estrutura subjacente. No entanto, os priors generativos usados para reiluminação 2D que iluminam diretamente a partir de uma imagem de entrada não aproveitam as propriedades intrínsecas do sujeito que podem ser inferidas ou não conseguem considerar dados multivista em escala, resultando em reiluminação abaixo do ideal. Neste artigo, propomos o LightSwitch, uma nova estrutura de difusão de reiluminação de materiais ajustada que reilumina eficientemente um número arbitrário de imagens de entrada para uma condição de iluminação alvo, incorporando pistas de propriedades intrínsecas inferidas. Ao usar pistas multivista e de materiais juntamente com um esquema escalável de remoção de ruído, nosso método reilumina de forma consistente e eficiente dados multivista densos de objetos com composições materiais diversas. Mostramos que a qualidade da nossa previsão de reiluminação 2D supera os priors de reiluminação state-of-the-art anteriores que iluminam diretamente a partir de imagens. Além disso, demonstramos que o LightSwitch iguala ou supera métodos state-of-the-art de renderização inversa por difusão na reiluminação de objetos sintéticos e reais em apenas 2 minutos.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.