Diffuse to Choose: Arricchimento dell'Inpainting Condizionato da Immagini nei Modelli di Diffusione Latente per il Virtual Try-All

Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All

January 24, 2024

Autori: Mehmet Saygin Seyfioglu, Karim Bouyarmane, Suren Kumar, Amir Tavanaei, Ismail B. Tutar

cs.AI

Abstract

Con l'aumento dello shopping online, la capacità per gli acquirenti di visualizzare virtualmente i prodotti nel proprio contesto - un fenomeno che definiamo "Virtual Try-All" - è diventata cruciale. I recenti modelli di diffusione contengono intrinsecamente un modello del mondo, rendendoli adatti a questo compito in un contesto di inpainting. Tuttavia, i tradizionali modelli di diffusione condizionati da immagini spesso non riescono a catturare i dettagli più fini dei prodotti. Al contrario, i modelli guidati dalla personalizzazione come DreamPaint sono bravi a preservare i dettagli dell'oggetto, ma non sono ottimizzati per applicazioni in tempo reale. Presentiamo "Diffuse to Choose", un nuovo modello di inpainting condizionato da immagini basato sulla diffusione che bilancia efficientemente un'inferenza veloce con la conservazione di dettagli ad alta fedeltà in un dato oggetto di riferimento, garantendo al contempo manipolazioni semantiche accurate nel contenuto della scena fornita. Il nostro approccio si basa sull'incorporazione di caratteristiche dettagliate dall'immagine di riferimento direttamente nelle mappe di caratteristiche latenti del modello di diffusione principale, insieme a una perdita percettiva per preservare ulteriormente i dettagli dell'oggetto di riferimento. Abbiamo condotto test approfonditi su dataset interni e pubblicamente disponibili, dimostrando che Diffuse to Choose è superiore ai metodi esistenti di inpainting a diffusione zero-shot, nonché agli algoritmi di personalizzazione a diffusione few-shot come DreamPaint.

English

As online shopping is growing, the ability for buyers to virtually visualize products in their settings-a phenomenon we define as "Virtual Try-All"-has become crucial. Recent diffusion models inherently contain a world model, rendering them suitable for this task within an inpainting context. However, traditional image-conditioned diffusion models often fail to capture the fine-grained details of products. In contrast, personalization-driven models such as DreamPaint are good at preserving the item's details but they are not optimized for real-time applications. We present "Diffuse to Choose," a novel diffusion-based image-conditioned inpainting model that efficiently balances fast inference with the retention of high-fidelity details in a given reference item while ensuring accurate semantic manipulations in the given scene content. Our approach is based on incorporating fine-grained features from the reference image directly into the latent feature maps of the main diffusion model, alongside with a perceptual loss to further preserve the reference item's details. We conduct extensive testing on both in-house and publicly available datasets, and show that Diffuse to Choose is superior to existing zero-shot diffusion inpainting methods as well as few-shot diffusion personalization algorithms like DreamPaint.