SDXL: 고해상도 이미지 합성을 위한 잠재 확산 모델 개선

초록

본 논문에서는 텍스트-이미지 합성을 위한 잠재 확산 모델인 SDXL을 소개한다. 이전 버전의 Stable Diffusion과 비교하여, SDXL은 3배 더 큰 UNet 백본을 활용한다: 모델 파라미터의 증가는 주로 더 많은 어텐션 블록과 두 번째 텍스트 인코더를 사용함으로써 확장된 크로스-어텐션 컨텍스트에 기인한다. 우리는 여러 가지 새로운 조건화 기법을 설계하고, SDXL을 다양한 종횡비로 학습시켰다. 또한, SDXL이 생성한 샘플의 시각적 충실도를 향상시키기 위해 사후 이미지-이미지 기법을 사용하는 정제 모델을 도입했다. 우리는 SDXL이 이전 버전의 Stable Diffusion에 비해 극적으로 향상된 성능을 보이며, 블랙박스 방식의 최첨단 이미지 생성기와 경쟁력 있는 결과를 달성함을 입증한다. 대규모 모델 학습과 평가에서 개방형 연구와 투명성을 촉진하기 위해, 코드와 모델 가중치를 https://github.com/Stability-AI/generative-models에서 제공한다.

English

We present SDXL, a latent diffusion model for text-to-image synthesis. Compared to previous versions of Stable Diffusion, SDXL leverages a three times larger UNet backbone: The increase of model parameters is mainly due to more attention blocks and a larger cross-attention context as SDXL uses a second text encoder. We design multiple novel conditioning schemes and train SDXL on multiple aspect ratios. We also introduce a refinement model which is used to improve the visual fidelity of samples generated by SDXL using a post-hoc image-to-image technique. We demonstrate that SDXL shows drastically improved performance compared the previous versions of Stable Diffusion and achieves results competitive with those of black-box state-of-the-art image generators. In the spirit of promoting open research and fostering transparency in large model training and evaluation, we provide access to code and model weights at https://github.com/Stability-AI/generative-models

SDXL: 고해상도 이미지 합성을 위한 잠재 확산 모델 개선

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

초록

Support