Fotorealistische objectinvoeging met diffusie-gestuurde inverse rendering

Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering

August 19, 2024

Auteurs: Ruofan Liang, Zan Gojcic, Merlin Nimier-David, David Acuna, Nandita Vijaykumar, Sanja Fidler, Zian Wang

cs.AI

Samenvatting

Het correct inbrengen van virtuele objecten in afbeeldingen van real-world scènes vereist een diepgaand begrip van de belichting, geometrie en materialen van de scène, evenals het beeldvormingsproces. Hoewel recente grootschalige diffusiemodellen sterke generatieve en inpainting-mogelijkheden hebben getoond, constateren we dat huidige modellen de scène in een enkele afbeelding niet voldoende "begrijpen" om consistente belichtingseffecten (schaduwen, heldere reflecties, enz.) te genereren terwijl de identiteit en details van het samengestelde object behouden blijven. Wij stellen voor om een gepersonaliseerd groot diffusiemodel te gebruiken als leidraad voor een fysiek gebaseerd inverse rendering-proces. Onze methode herstelt de scènebelichting en tone-mapping parameters, waardoor de fotorealistische compositie van willekeurige virtuele objecten in enkele frames of video's van binnen- of buitenscènes mogelijk wordt. Onze fysiek gebaseerde pijplijn maakt verder automatische verfijning van materialen en tone-mapping mogelijk.

English

The correct insertion of virtual objects in images of real-world scenes requires a deep understanding of the scene's lighting, geometry and materials, as well as the image formation process. While recent large-scale diffusion models have shown strong generative and inpainting capabilities, we find that current models do not sufficiently "understand" the scene shown in a single picture to generate consistent lighting effects (shadows, bright reflections, etc.) while preserving the identity and details of the composited object. We propose using a personalized large diffusion model as guidance to a physically based inverse rendering process. Our method recovers scene lighting and tone-mapping parameters, allowing the photorealistic composition of arbitrary virtual objects in single frames or videos of indoor or outdoor scenes. Our physically based pipeline further enables automatic materials and tone-mapping refinement.