Neural Gaffer: Herbelichting van elk object via diffusie

Samenvatting

Single-image relighting is een uitdagende taak die het begrip vereist van de complexe interactie tussen geometrie, materialen en belichting. Veel eerdere methoden ondersteunen alleen specifieke categorieën van afbeeldingen, zoals portretten, of vereisen speciale opnameomstandigheden, zoals het gebruik van een zaklamp. Alternatief ontbinden sommige methoden een scène expliciet in intrinsieke componenten, zoals normalen en BRDF's, wat onnauwkeurig of onderuitdrukkend kan zijn. In dit werk stellen we een nieuw end-to-end 2D relighting-diffusiemodel voor, genaamd Neural Gaffer, dat een enkele afbeelding van elk object neemt en een nauwkeurige, hoogwaardige herbelichte afbeelding kan synthetiseren onder elke nieuwe omgevingslichtconditie, simpelweg door een afbeeldingsgenerator te conditioneren op een doelomgevingskaart, zonder een expliciete scène-ontleding. Onze methode bouwt voort op een vooraf getraind diffusiemodel en fine-tunt dit op een synthetische relighting-dataset, waarbij het inherente begrip van belichting in het diffusiemodel wordt onthuld en benut. We evalueren ons model op zowel synthetische als in-the-wild internetbeelden en demonstreren de voordelen ervan op het gebied van generalisatie en nauwkeurigheid. Bovendien maakt ons model, in combinatie met andere generatieve methoden, veel downstream 2D-taken mogelijk, zoals tekstgebaseerde relighting en objectinvoeging. Ons model kan ook functioneren als een sterke relighting-prior voor 3D-taken, zoals het herbelichten van een stralingsveld.

English

Single-image relighting is a challenging task that involves reasoning about the complex interplay between geometry, materials, and lighting. Many prior methods either support only specific categories of images, such as portraits, or require special capture conditions, like using a flashlight. Alternatively, some methods explicitly decompose a scene into intrinsic components, such as normals and BRDFs, which can be inaccurate or under-expressive. In this work, we propose a novel end-to-end 2D relighting diffusion model, called Neural Gaffer, that takes a single image of any object and can synthesize an accurate, high-quality relit image under any novel environmental lighting condition, simply by conditioning an image generator on a target environment map, without an explicit scene decomposition. Our method builds on a pre-trained diffusion model, and fine-tunes it on a synthetic relighting dataset, revealing and harnessing the inherent understanding of lighting present in the diffusion model. We evaluate our model on both synthetic and in-the-wild Internet imagery and demonstrate its advantages in terms of generalization and accuracy. Moreover, by combining with other generative methods, our model enables many downstream 2D tasks, such as text-based relighting and object insertion. Our model can also operate as a strong relighting prior for 3D tasks, such as relighting a radiance field.

Neural Gaffer: Herbelichting van elk object via diffusie

Neural Gaffer: Relighting Any Object via Diffusion

Samenvatting

Support