SDXS: Modelos de Difusión Latente en un Paso en Tiempo Real con Condiciones de Imagen

SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions

March 25, 2024

Autores: Yuda Song, Zehao Sun, Xuanwu Yin

cs.AI

Resumen

Los recientes avances en los modelos de difusión los han posicionado a la vanguardia de la generación de imágenes. A pesar de su rendimiento superior, los modelos de difusión no están exentos de inconvenientes; se caracterizan por arquitecturas complejas y demandas computacionales sustanciales, lo que resulta en una latencia significativa debido a su proceso de muestreo iterativo. Para mitigar estas limitaciones, introducimos un enfoque dual que involucra la miniaturización del modelo y una reducción en los pasos de muestreo, con el objetivo de disminuir considerablemente la latencia del modelo. Nuestra metodología aprovecha la destilación de conocimiento para simplificar las arquitecturas U-Net y el decodificador de imágenes, e introduce una innovadora técnica de entrenamiento de DM en un solo paso que utiliza emparejamiento de características y destilación de puntuaciones. Presentamos dos modelos, SDXS-512 y SDXS-1024, que logran velocidades de inferencia de aproximadamente 100 FPS (30 veces más rápido que SD v1.5) y 30 FPS (60 veces más rápido que SDXL) en una sola GPU, respectivamente. Además, nuestro enfoque de entrenamiento ofrece aplicaciones prometedoras en el control condicionado por imágenes, facilitando una traducción eficiente de imagen a imagen.

English

Recent advancements in diffusion models have positioned them at the forefront of image generation. Despite their superior performance, diffusion models are not without drawbacks; they are characterized by complex architectures and substantial computational demands, resulting in significant latency due to their iterative sampling process. To mitigate these limitations, we introduce a dual approach involving model miniaturization and a reduction in sampling steps, aimed at significantly decreasing model latency. Our methodology leverages knowledge distillation to streamline the U-Net and image decoder architectures, and introduces an innovative one-step DM training technique that utilizes feature matching and score distillation. We present two models, SDXS-512 and SDXS-1024, achieving inference speeds of approximately 100 FPS (30x faster than SD v1.5) and 30 FP (60x faster than SDXL) on a single GPU, respectively. Moreover, our training approach offers promising applications in image-conditioned control, facilitating efficient image-to-image translation.