SDXL: Miglioramento dei modelli di diffusione latente per la sintesi di immagini ad alta risoluzione
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
July 4, 2023
Autori: Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna, Robin Rombach
cs.AI
Abstract
Presentiamo SDXL, un modello di diffusione latente per la sintesi di immagini da testo. Rispetto alle versioni precedenti di Stable Diffusion, SDXL sfrutta un backbone UNet tre volte più grande: l'aumento dei parametri del modello è principalmente dovuto a un maggior numero di blocchi di attenzione e a un contesto di cross-attention più ampio, poiché SDXL utilizza un secondo encoder di testo. Abbiamo progettato molteplici schemi di condizionamento innovativi e addestrato SDXL su più rapporti d'aspetto. Introduciamo inoltre un modello di raffinamento utilizzato per migliorare la fedeltà visiva dei campioni generati da SDXL mediante una tecnica post-hoc di immagine-a-immagine. Dimostriamo che SDXL mostra un miglioramento drastico delle prestazioni rispetto alle versioni precedenti di Stable Diffusion e raggiunge risultati competitivi con quelli dei generatori di immagini all'avanguardia a scatola chiusa. Nel rispetto dello spirito di promuovere la ricerca aperta e favorire la trasparenza nell'addestramento e nella valutazione di modelli di grandi dimensioni, forniamo accesso al codice e ai pesi del modello all'indirizzo https://github.com/Stability-AI/generative-models.
English
We present SDXL, a latent diffusion model for text-to-image synthesis.
Compared to previous versions of Stable Diffusion, SDXL leverages a three times
larger UNet backbone: The increase of model parameters is mainly due to more
attention blocks and a larger cross-attention context as SDXL uses a second
text encoder. We design multiple novel conditioning schemes and train SDXL on
multiple aspect ratios. We also introduce a refinement model which is used to
improve the visual fidelity of samples generated by SDXL using a post-hoc
image-to-image technique. We demonstrate that SDXL shows drastically improved
performance compared the previous versions of Stable Diffusion and achieves
results competitive with those of black-box state-of-the-art image generators.
In the spirit of promoting open research and fostering transparency in large
model training and evaluation, we provide access to code and model weights at
https://github.com/Stability-AI/generative-models