Diffuse to Choose: Anreicherung der bildbasierten Inpainting-Technik in latenten Diffusionsmodellen für virtuelles Anprobieren

Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All

January 24, 2024

Autoren: Mehmet Saygin Seyfioglu, Karim Bouyarmane, Suren Kumar, Amir Tavanaei, Ismail B. Tutar

cs.AI

Zusammenfassung

Da der Online-Handel wächst, ist die Fähigkeit der Käufer, Produkte virtuell in ihren eigenen Umgebungen zu visualisieren – ein Phänomen, das wir als „Virtual Try-All“ definieren – von entscheidender Bedeutung geworden. Aktuelle Diffusionsmodelle enthalten inhärent ein Weltmodell, was sie für diese Aufgabe im Kontext des Inpaintings geeignet macht. Traditionelle bildgesteuerte Diffusionsmodelle erfassen jedoch oft nicht die fein abgestuften Details von Produkten. Im Gegensatz dazu sind personalisierungsgetriebene Modelle wie DreamPaint gut darin, die Details des Artikels zu bewahren, aber sie sind nicht für Echtzeitanwendungen optimiert. Wir präsentieren „Diffuse to Choose“, ein neuartiges, diffusionsbasiertes, bildgesteuertes Inpainting-Modell, das schnelle Inferenz effizient mit der Beibehaltung hochauflösender Details in einem gegebenen Referenzartikel ausbalanciert und gleichzeitig präzise semantische Manipulationen im gegebenen Szeneninhalt sicherstellt. Unser Ansatz basiert darauf, fein abgestufte Merkmale aus dem Referenzbild direkt in die latenten Merkmalskarten des Hauptdiffusionsmodells zu integrieren, ergänzt durch einen Wahrnehmungsverlust, um die Details des Referenzartikels weiter zu bewahren. Wir führen umfangreiche Tests sowohl mit internen als auch öffentlich verfügbaren Datensätzen durch und zeigen, dass Diffuse to Choose bestehenden Zero-Shot-Diffusions-Inpainting-Methoden sowie Few-Shot-Diffusions-Personalisierungsalgorithmen wie DreamPaint überlegen ist.

English

As online shopping is growing, the ability for buyers to virtually visualize products in their settings-a phenomenon we define as "Virtual Try-All"-has become crucial. Recent diffusion models inherently contain a world model, rendering them suitable for this task within an inpainting context. However, traditional image-conditioned diffusion models often fail to capture the fine-grained details of products. In contrast, personalization-driven models such as DreamPaint are good at preserving the item's details but they are not optimized for real-time applications. We present "Diffuse to Choose," a novel diffusion-based image-conditioned inpainting model that efficiently balances fast inference with the retention of high-fidelity details in a given reference item while ensuring accurate semantic manipulations in the given scene content. Our approach is based on incorporating fine-grained features from the reference image directly into the latent feature maps of the main diffusion model, alongside with a perceptual loss to further preserve the reference item's details. We conduct extensive testing on both in-house and publicly available datasets, and show that Diffuse to Choose is superior to existing zero-shot diffusion inpainting methods as well as few-shot diffusion personalization algorithms like DreamPaint.