SDXS : Modèles de diffusion latente en une étape en temps réel avec conditions d'image

SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions

March 25, 2024

Auteurs: Yuda Song, Zehao Sun, Xuanwu Yin

cs.AI

Résumé

Les récents progrès des modèles de diffusion les ont placés à l'avant-garde de la génération d'images. Malgré leurs performances supérieures, ces modèles ne sont pas sans inconvénients ; ils se caractérisent par des architectures complexes et des exigences computationnelles substantielles, entraînant une latence significative en raison de leur processus d'échantillonnage itératif. Pour atténuer ces limitations, nous proposons une approche duale combinant la miniaturisation des modèles et une réduction des étapes d'échantillonnage, visant à diminuer considérablement la latence du modèle. Notre méthodologie exploite la distillation de connaissances pour simplifier les architectures U-Net et décodeur d'images, et introduit une technique innovante d'entraînement en une étape pour les modèles de diffusion (DM) qui utilise l'appariement de caractéristiques et la distillation de scores. Nous présentons deux modèles, SDXS-512 et SDXS-1024, atteignant des vitesses d'inférence d'environ 100 FPS (30 fois plus rapide que SD v1.5) et 30 FPS (60 fois plus rapide que SDXL) sur un seul GPU, respectivement. De plus, notre approche d'entraînement offre des applications prometteuses dans le contrôle conditionné par l'image, facilitant une traduction image-à-image efficace.

English

Recent advancements in diffusion models have positioned them at the forefront of image generation. Despite their superior performance, diffusion models are not without drawbacks; they are characterized by complex architectures and substantial computational demands, resulting in significant latency due to their iterative sampling process. To mitigate these limitations, we introduce a dual approach involving model miniaturization and a reduction in sampling steps, aimed at significantly decreasing model latency. Our methodology leverages knowledge distillation to streamline the U-Net and image decoder architectures, and introduces an innovative one-step DM training technique that utilizes feature matching and score distillation. We present two models, SDXS-512 and SDXS-1024, achieving inference speeds of approximately 100 FPS (30x faster than SD v1.5) and 30 FP (60x faster than SDXL) on a single GPU, respectively. Moreover, our training approach offers promising applications in image-conditioned control, facilitating efficient image-to-image translation.