SDXL: Verbesserung latenter Diffusionsmodelle für die Synthese hochauflösender Bilder
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
July 4, 2023
Autoren: Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna, Robin Rombach
cs.AI
Zusammenfassung
Wir stellen SDXL vor, ein latentes Diffusionsmodell für die Text-zu-Bild-Synthese. Im Vergleich zu früheren Versionen von Stable Diffusion nutzt SDXL ein dreimal größeres UNet-Backbone: Die Zunahme der Modellparameter ist hauptsächlich auf mehr Aufmerksamkeitsblöcke und einen größeren Cross-Attention-Kontext zurückzuführen, da SDXL einen zweiten Text-Encoder verwendet. Wir entwerfen mehrere neuartige Konditionierungsschemata und trainieren SDXL auf mehreren Seitenverhältnissen. Zudem führen wir ein Verfeinerungsmodell ein, das verwendet wird, um die visuelle Qualität der von SDXL generierten Proben mithilfe einer nachträglichen Bild-zu-Bild-Technik zu verbessern. Wir zeigen, dass SDXL im Vergleich zu früheren Versionen von Stable Diffusion eine drastisch verbesserte Leistung aufweist und Ergebnisse erzielt, die mit denen von Blackbox-Spitzen-Bildgeneratoren konkurrieren können. Im Geiste der Förderung offener Forschung und der Transparenz beim Training und der Evaluierung großer Modelle stellen wir den Zugang zu Code und Modellgewichten unter https://github.com/Stability-AI/generative-models bereit.
English
We present SDXL, a latent diffusion model for text-to-image synthesis.
Compared to previous versions of Stable Diffusion, SDXL leverages a three times
larger UNet backbone: The increase of model parameters is mainly due to more
attention blocks and a larger cross-attention context as SDXL uses a second
text encoder. We design multiple novel conditioning schemes and train SDXL on
multiple aspect ratios. We also introduce a refinement model which is used to
improve the visual fidelity of samples generated by SDXL using a post-hoc
image-to-image technique. We demonstrate that SDXL shows drastically improved
performance compared the previous versions of Stable Diffusion and achieves
results competitive with those of black-box state-of-the-art image generators.
In the spirit of promoting open research and fostering transparency in large
model training and evaluation, we provide access to code and model weights at
https://github.com/Stability-AI/generative-models