SDXS: Echtzeit-Ein-Schritt-Latenz-Diffusionsmodelle mit Bildbedingungen

SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions

March 25, 2024

Autoren: Yuda Song, Zehao Sun, Xuanwu Yin

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei Diffusionsmodellen sie an die Spitze der Bildgenerierung gebracht. Trotz ihrer überragenden Leistung weisen Diffusionsmodelle jedoch auch Nachteile auf; sie zeichnen sich durch komplexe Architekturen und erhebliche Rechenanforderungen aus, was zu erheblichen Latenzzeiten aufgrund ihres iterativen Probenahmeprozesses führt. Um diese Einschränkungen zu mildern, stellen wir einen dualen Ansatz vor, der auf Modellminimierung und einer Reduzierung der Probenahmeschritte beruht und darauf abzielt, die Modell-Latenz signifikant zu verringern. Unsere Methodik nutzt Wissensvermittlung, um die U-Net- und Bilddekodiererarchitekturen zu optimieren, und führt eine innovative Ein-Schritt-DM-Trainingsmethode ein, die Feature-Matching und Score-Wissensvermittlung verwendet. Wir präsentieren zwei Modelle, SDXS-512 und SDXS-1024, die Inferenzgeschwindigkeiten von etwa 100 FPS (30-mal schneller als SD v1.5) bzw. 30 FP (60-mal schneller als SDXL) auf einer einzelnen GPU erreichen. Darüber hinaus bietet unser Schulungsansatz vielversprechende Anwendungen in der bildkonditionierten Steuerung, die eine effiziente Bild-zu-Bild-Übersetzung ermöglicht.

English

Recent advancements in diffusion models have positioned them at the forefront of image generation. Despite their superior performance, diffusion models are not without drawbacks; they are characterized by complex architectures and substantial computational demands, resulting in significant latency due to their iterative sampling process. To mitigate these limitations, we introduce a dual approach involving model miniaturization and a reduction in sampling steps, aimed at significantly decreasing model latency. Our methodology leverages knowledge distillation to streamline the U-Net and image decoder architectures, and introduces an innovative one-step DM training technique that utilizes feature matching and score distillation. We present two models, SDXS-512 and SDXS-1024, achieving inference speeds of approximately 100 FPS (30x faster than SD v1.5) and 30 FP (60x faster than SDXL) on a single GPU, respectively. Moreover, our training approach offers promising applications in image-conditioned control, facilitating efficient image-to-image translation.