LumiNet: Intrínsecos Latentes se Encuentran con Modelos de Difusión para el Reiluminado de Escenas Interiores

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

Autores: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

Resumen

Presentamos LumiNet, una arquitectura novedosa que aprovecha modelos generativos y representaciones intrínsecas latentes para una transferencia de iluminación efectiva. Dada una imagen fuente y una imagen de iluminación objetivo, LumiNet sintetiza una versión iluminada de la escena fuente que captura la iluminación objetivo. Nuestro enfoque aporta dos contribuciones clave: una estrategia de curación de datos del modelo de iluminación basado en StyleGAN para nuestro entrenamiento, y un ControlNet basado en difusión modificado que procesa tanto propiedades intrínsecas latentes de la imagen fuente como propiedades extrínsecas latentes de la imagen objetivo. Mejoramos aún más la transferencia de iluminación a través de un adaptador aprendido (MLP) que inyecta las propiedades extrínsecas latentes del objetivo mediante atención cruzada y ajuste fino. A diferencia del ControlNet tradicional, que genera imágenes con mapas condicionales de una sola escena, LumiNet procesa representaciones latentes de dos imágenes diferentes, preservando la geometría y el albedo de la fuente mientras transfiere las características de iluminación del objetivo. Los experimentos demuestran que nuestro método transfiere con éxito fenómenos de iluminación complejos, incluidos reflejos especulares e iluminación indirecta, entre escenas con diseños espaciales y materiales variables, superando en rendimiento a enfoques existentes en escenas interiores desafiantes utilizando solo imágenes como entrada.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.