SDXL: Verbetering van Latente Diffusiemodellen voor Synthese van Beelden met Hoge Resolutie

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

July 4, 2023

Auteurs: Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna, Robin Rombach

cs.AI

Samenvatting

We presenteren SDXL, een latent diffusiemodel voor tekst-naar-beeldsynthese. In vergelijking met eerdere versies van Stable Diffusion, maakt SDXL gebruik van een UNet-backbone die drie keer groter is: de toename van modelparameters is voornamelijk te danken aan meer aandachtblokken en een grotere cross-attention context, aangezien SDXL een tweede tekstencoder gebruikt. We ontwerpen meerdere nieuwe conditioneringsschema's en trainen SDXL op meerdere beeldverhoudingen. We introduceren ook een verfijningsmodel dat wordt gebruikt om de visuele kwaliteit van door SDXL gegenereerde samples te verbeteren met behulp van een post-hoc beeld-naar-beeldtechniek. We tonen aan dat SDXL een aanzienlijk verbeterde prestaties laat zien in vergelijking met eerdere versies van Stable Diffusion en resultaten behaalt die concurrerend zijn met die van state-of-the-art beeldgeneratoren met gesloten systeem. In de geest van het bevorderen van open onderzoek en het stimuleren van transparantie in het trainen en evalueren van grote modellen, bieden we toegang tot code en modelgewichten op https://github.com/Stability-AI/generative-models.

English

We present SDXL, a latent diffusion model for text-to-image synthesis. Compared to previous versions of Stable Diffusion, SDXL leverages a three times larger UNet backbone: The increase of model parameters is mainly due to more attention blocks and a larger cross-attention context as SDXL uses a second text encoder. We design multiple novel conditioning schemes and train SDXL on multiple aspect ratios. We also introduce a refinement model which is used to improve the visual fidelity of samples generated by SDXL using a post-hoc image-to-image technique. We demonstrate that SDXL shows drastically improved performance compared the previous versions of Stable Diffusion and achieves results competitive with those of black-box state-of-the-art image generators. In the spirit of promoting open research and fostering transparency in large model training and evaluation, we provide access to code and model weights at https://github.com/Stability-AI/generative-models