Difundir para Elegir: Enriquecimiento del Inpainting Condicionado por Imágenes en Modelos de Difusión Latente para Pruebas Virtuales de Todo Tipo

Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All

January 24, 2024

Autores: Mehmet Saygin Seyfioglu, Karim Bouyarmane, Suren Kumar, Amir Tavanaei, Ismail B. Tutar

cs.AI

Resumen

A medida que las compras en línea crecen, la capacidad de los compradores para visualizar productos virtualmente en sus entornos—un fenómeno que definimos como "Virtual Try-All"—se ha vuelto crucial. Los modelos de difusión recientes contienen inherentemente un modelo del mundo, lo que los hace adecuados para esta tarea en un contexto de inpainting. Sin embargo, los modelos tradicionales de difusión condicionados por imágenes a menudo no logran capturar los detalles más finos de los productos. En contraste, los modelos impulsados por la personalización, como DreamPaint, son buenos para preservar los detalles del artículo, pero no están optimizados para aplicaciones en tiempo real. Presentamos "Diffuse to Choose", un novedoso modelo de inpainting condicionado por imágenes basado en difusión que equilibra eficientemente una inferencia rápida con la retención de detalles de alta fidelidad en un artículo de referencia dado, al mismo tiempo que garantiza manipulaciones semánticas precisas en el contenido de la escena proporcionada. Nuestro enfoque se basa en incorporar características detalladas de la imagen de referencia directamente en los mapas de características latentes del modelo de difusión principal, junto con una pérdida perceptual para preservar aún más los detalles del artículo de referencia. Realizamos pruebas exhaustivas tanto en conjuntos de datos internos como en conjuntos de datos disponibles públicamente, y demostramos que Diffuse to Choose es superior a los métodos existentes de inpainting de difusión de cero disparos, así como a los algoritmos de personalización de difusión de pocos disparos como DreamPaint.

English

As online shopping is growing, the ability for buyers to virtually visualize products in their settings-a phenomenon we define as "Virtual Try-All"-has become crucial. Recent diffusion models inherently contain a world model, rendering them suitable for this task within an inpainting context. However, traditional image-conditioned diffusion models often fail to capture the fine-grained details of products. In contrast, personalization-driven models such as DreamPaint are good at preserving the item's details but they are not optimized for real-time applications. We present "Diffuse to Choose," a novel diffusion-based image-conditioned inpainting model that efficiently balances fast inference with the retention of high-fidelity details in a given reference item while ensuring accurate semantic manipulations in the given scene content. Our approach is based on incorporating fine-grained features from the reference image directly into the latent feature maps of the main diffusion model, alongside with a perceptual loss to further preserve the reference item's details. We conduct extensive testing on both in-house and publicly available datasets, and show that Diffuse to Choose is superior to existing zero-shot diffusion inpainting methods as well as few-shot diffusion personalization algorithms like DreamPaint.