SDXL : Amélioration des modèles de diffusion latente pour la synthèse d'images haute résolution

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

July 4, 2023

Auteurs: Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna, Robin Rombach

cs.AI

Résumé

Nous présentons SDXL, un modèle de diffusion latente pour la synthèse d'images à partir de texte. Par rapport aux versions précédentes de Stable Diffusion, SDXL s'appuie sur une architecture UNet trois fois plus grande : l'augmentation du nombre de paramètres du modèle est principalement due à un plus grand nombre de blocs d'attention et à un contexte d'attention croisée plus étendu, car SDXL utilise un second encodeur de texte. Nous concevons plusieurs schémas de conditionnement novateurs et entraînons SDXL sur plusieurs ratios d'aspect. Nous introduisons également un modèle de raffinement utilisé pour améliorer la fidélité visuelle des échantillons générés par SDXL grâce à une technique post-hoc de transformation d'image à image. Nous démontrons que SDXL présente une amélioration significative des performances par rapport aux versions précédentes de Stable Diffusion et obtient des résultats compétitifs avec ceux des générateurs d'images à l'état de l'art en boîte noire. Dans un esprit de promotion de la recherche ouverte et de transparence dans l'entraînement et l'évaluation de grands modèles, nous mettons à disposition le code et les poids du modèle à l'adresse suivante : https://github.com/Stability-AI/generative-models.

English

We present SDXL, a latent diffusion model for text-to-image synthesis. Compared to previous versions of Stable Diffusion, SDXL leverages a three times larger UNet backbone: The increase of model parameters is mainly due to more attention blocks and a larger cross-attention context as SDXL uses a second text encoder. We design multiple novel conditioning schemes and train SDXL on multiple aspect ratios. We also introduce a refinement model which is used to improve the visual fidelity of samples generated by SDXL using a post-hoc image-to-image technique. We demonstrate that SDXL shows drastically improved performance compared the previous versions of Stable Diffusion and achieves results competitive with those of black-box state-of-the-art image generators. In the spirit of promoting open research and fostering transparency in large model training and evaluation, we provide access to code and model weights at https://github.com/Stability-AI/generative-models