LumiNet: Latente Intrinsieken Ontmoeten Diffusiemodellen voor het Herbelichten van Binnenruimtes

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

Auteurs: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

Samenvatting

We introduceren LumiNet, een nieuw architectuur dat gebruikmaakt van generatieve modellen en latente intrinsieke representaties voor effectieve lichtoverdracht. Gegeven een bronafbeelding en een doelverlichtingsafbeelding, synthetiseert LumiNet een herbelichte versie van de bronscène die de verlichting van het doel vastlegt. Onze benadering levert twee belangrijke bijdragen: een gegevenscuratiestrategie van het op StyleGAN gebaseerde herbelichtingsmodel voor onze training, en een aangepaste diffusiegebaseerde ControlNet dat zowel latente intrinsieke eigenschappen van de bronafbeelding als latente extrinsieke eigenschappen van de doelafbeelding verwerkt. We verbeteren verder de lichtoverdracht door middel van een geleerde adapter (MLP) die de latente extrinsieke eigenschappen van het doel injecteert via kruislingse aandacht en fijnafstemming. In tegenstelling tot de traditionele ControlNet, die afbeeldingen genereert met conditionele kaarten vanuit een enkele scène, verwerkt LumiNet latente representaties vanuit twee verschillende afbeeldingen - waarbij de geometrie en albedo van de bron behouden blijven terwijl de verlichtingseigenschappen van het doel worden overgedragen. Experimenten tonen aan dat onze methode succesvol complexe lichtverschijnselen, waaronder spiegelende hooglichten en indirecte verlichting, overdraagt tussen scènes met verschillende ruimtelijke lay-outs en materialen, waarbij bestaande benaderingen op uitdagende binnenomgevingen worden overtroffen met enkel afbeeldingen als invoer.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.