Die Realität widerspiegeln: Ermöglichen von Diffusionsmodellen, treue Spiegelungen zu erzeugen.

Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections

September 23, 2024

Autoren: Ankit Dhiman, Manan Shah, Rishubh Parihar, Yash Bhalgat, Lokesh R Boregowda, R Venkatesh Babu

cs.AI

Zusammenfassung

Wir behandeln das Problem der Erzeugung hochrealistischer und plausibler Spiegelreflexionen unter Verwendung von diffusionsbasierten generativen Modellen. Wir formulieren dieses Problem als eine Bild-Inpainting-Aufgabe, die eine präzisere Steuerung über die Platzierung von Spiegeln während des Generierungsprozesses ermöglicht. Um dies zu ermöglichen, erstellen wir SynMirror, einen Datensatz im großen Maßstab mit vielfältigen synthetischen Szenen, in denen Objekte vor Spiegeln platziert sind. SynMirror enthält etwa 198K Beispiele, gerendert aus 66K einzigartigen 3D-Objekten, zusammen mit ihren zugehörigen Tiefenkarten, Normalenkarten und instanzweisen Segmentierungsmasken, um relevante geometrische Eigenschaften der Szene zu erfassen. Unter Verwendung dieses Datensatzes schlagen wir eine neuartige tiefenbedingte Inpainting-Methode namens MirrorFusion vor, die hochwertige, geometrisch konsistente und fotorealistische Spiegelreflexionen erzeugt, basierend auf einem Eingabebild und einer Maske, die den Spiegelbereich darstellt. MirrorFusion übertrifft state-of-the-art Methoden auf SynMirror, wie durch umfangreiche quantitative und qualitative Analysen gezeigt wird. Unseres Wissens nach sind wir die ersten, die das anspruchsvolle Problem der Erzeugung kontrollierter und treuer Spiegelreflexionen eines Objekts in einer Szene unter Verwendung von diffusionsbasierten Modellen erfolgreich angegangen sind. SynMirror und MirrorFusion eröffnen neue Möglichkeiten für Bildbearbeitung und erweiterte Realitätsanwendungen sowohl für Praktiker als auch Forscher.

English

We tackle the problem of generating highly realistic and plausible mirror reflections using diffusion-based generative models. We formulate this problem as an image inpainting task, allowing for more user control over the placement of mirrors during the generation process. To enable this, we create SynMirror, a large-scale dataset of diverse synthetic scenes with objects placed in front of mirrors. SynMirror contains around 198K samples rendered from 66K unique 3D objects, along with their associated depth maps, normal maps and instance-wise segmentation masks, to capture relevant geometric properties of the scene. Using this dataset, we propose a novel depth-conditioned inpainting method called MirrorFusion, which generates high-quality geometrically consistent and photo-realistic mirror reflections given an input image and a mask depicting the mirror region. MirrorFusion outperforms state-of-the-art methods on SynMirror, as demonstrated by extensive quantitative and qualitative analysis. To the best of our knowledge, we are the first to successfully tackle the challenging problem of generating controlled and faithful mirror reflections of an object in a scene using diffusion based models. SynMirror and MirrorFusion open up new avenues for image editing and augmented reality applications for practitioners and researchers alike.