SDXL: Mejora de los Modelos de Difusión Latente para la Síntesis de Imágenes de Alta Resolución

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

July 4, 2023

Autores: Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna, Robin Rombach

cs.AI

Resumen

Presentamos SDXL, un modelo de difusión latente para la síntesis de texto a imagen. En comparación con versiones anteriores de Stable Diffusion, SDXL aprovecha una arquitectura UNet tres veces más grande: el aumento de parámetros del modelo se debe principalmente a más bloques de atención y un contexto de atención cruzada más amplio, ya que SDXL utiliza un segundo codificador de texto. Diseñamos múltiples esquemas de condicionamiento novedosos y entrenamos SDXL en múltiples relaciones de aspecto. También introducimos un modelo de refinamiento que se utiliza para mejorar la fidelidad visual de las muestras generadas por SDXL mediante una técnica de imagen a imagen post-hoc. Demostramos que SDXL muestra un rendimiento drásticamente mejorado en comparación con las versiones anteriores de Stable Diffusion y logra resultados competitivos con los de los generadores de imágenes de última generación de caja negra. En el espíritu de promover la investigación abierta y fomentar la transparencia en el entrenamiento y evaluación de modelos grandes, proporcionamos acceso al código y los pesos del modelo en https://github.com/Stability-AI/generative-models.

English

We present SDXL, a latent diffusion model for text-to-image synthesis. Compared to previous versions of Stable Diffusion, SDXL leverages a three times larger UNet backbone: The increase of model parameters is mainly due to more attention blocks and a larger cross-attention context as SDXL uses a second text encoder. We design multiple novel conditioning schemes and train SDXL on multiple aspect ratios. We also introduce a refinement model which is used to improve the visual fidelity of samples generated by SDXL using a post-hoc image-to-image technique. We demonstrate that SDXL shows drastically improved performance compared the previous versions of Stable Diffusion and achieves results competitive with those of black-box state-of-the-art image generators. In the spirit of promoting open research and fostering transparency in large model training and evaluation, we provide access to code and model weights at https://github.com/Stability-AI/generative-models