Het Weerspiegelen van de Werkelijkheid: Het Mogelijk Maken van Diffusiemodellen om Getrouwe Spiegelreflecties te Produceren

Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections

September 23, 2024

Auteurs: Ankit Dhiman, Manan Shah, Rishubh Parihar, Yash Bhalgat, Lokesh R Boregowda, R Venkatesh Babu

cs.AI

Samenvatting

We pakken het probleem aan van het genereren van zeer realistische en geloofwaardige spiegelreflecties met behulp van op diffusie gebaseerde generatieve modellen. We formuleren dit probleem als een beeldinpaintingstaak, waardoor er meer gebruikerscontrole is over de plaatsing van spiegels tijdens het generatieproces. Om dit mogelijk te maken, creëren we SynMirror, een grootschalige dataset van diverse synthetische scènes met objecten geplaatst voor spiegels. SynMirror bevat ongeveer 198K voorbeelden gerenderd uit 66K unieke 3D-objecten, samen met hun bijbehorende dieptekaarten, normaal kaarten en instantie-gewijze segmentatiemaskers, om relevante geometrische eigenschappen van de scène vast te leggen. Met behulp van deze dataset stellen we een nieuw diepte-geconditioneerd inpaintingmethode voor genaamd MirrorFusion, die hoogwaardige geometrisch consistente en fotorealistische spiegelreflecties genereert gegeven een invoerbeeld en een masker dat het spiegelgebied afbeeldt. MirrorFusion presteert beter dan state-of-the-art methoden op SynMirror, zoals aangetoond door uitgebreide kwantitatieve en kwalitatieve analyse. Voor zover wij weten, zijn wij de eersten die met succes het uitdagende probleem aanpakken van het genereren van gecontroleerde en trouwe spiegelreflecties van een object in een scène met behulp van op diffusie gebaseerde modellen. SynMirror en MirrorFusion openen nieuwe mogelijkheden voor beeldbewerking en augmented reality-toepassingen voor zowel beoefenaars als onderzoekers.

English

We tackle the problem of generating highly realistic and plausible mirror reflections using diffusion-based generative models. We formulate this problem as an image inpainting task, allowing for more user control over the placement of mirrors during the generation process. To enable this, we create SynMirror, a large-scale dataset of diverse synthetic scenes with objects placed in front of mirrors. SynMirror contains around 198K samples rendered from 66K unique 3D objects, along with their associated depth maps, normal maps and instance-wise segmentation masks, to capture relevant geometric properties of the scene. Using this dataset, we propose a novel depth-conditioned inpainting method called MirrorFusion, which generates high-quality geometrically consistent and photo-realistic mirror reflections given an input image and a mask depicting the mirror region. MirrorFusion outperforms state-of-the-art methods on SynMirror, as demonstrated by extensive quantitative and qualitative analysis. To the best of our knowledge, we are the first to successfully tackle the challenging problem of generating controlled and faithful mirror reflections of an object in a scene using diffusion based models. SynMirror and MirrorFusion open up new avenues for image editing and augmented reality applications for practitioners and researchers alike.