Playground v2.5: 텍스트-이미지 생성의 미적 품질 향상을 위한 세 가지 통찰

Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation

February 27, 2024

저자: Daiqing Li, Aleks Kamko, Ehsan Akhgari, Ali Sabet, Linmiao Xu, Suhail Doshi

cs.AI

초록

본 연구에서는 텍스트-이미지 생성 모델에서 최첨단 미적 품질을 달성하기 위한 세 가지 통찰을 공유합니다. 우리는 모델 개선을 위한 세 가지 핵심 요소에 집중했습니다: 색상과 대비 향상, 다양한 종횡비에서의 생성 품질 개선, 그리고 인간 중심의 세부 사항 개선입니다. 먼저, 확산 모델(diffusion model) 훈련에서 노이즈 스케줄(noise schedule)의 중요성을 탐구하며, 이가 사실성과 시각적 충실도에 미치는 깊은 영향을 입증했습니다. 둘째, 다양한 종횡비를 수용하는 이미지 생성의 도전 과제를 다루며, 균형 잡힌 버킷 데이터셋(bucketed dataset) 준비의 중요성을 강조했습니다. 마지막으로, 모델 출력을 인간의 선호도와 일치시키는 데 있어서의 결정적 역할을 조사하여, 생성된 이미지가 인간의 지각적 기대와 조화를 이루도록 했습니다. 광범위한 분석과 실험을 통해, Playground v2.5는 다양한 조건과 종횡비에서 최첨단 미적 품질을 보여주며, SDXL 및 Playground v2와 같은 널리 사용되는 오픈소스 모델과 DALLE 3 및 Midjourney v5.2와 같은 클로즈드소스 상용 시스템을 능가하는 성능을 입증했습니다. 우리의 모델은 오픈소스이며, Playground v2.5의 개발이 확산 기반 이미지 생성 모델의 미적 품질을 높이려는 연구자들에게 유용한 가이드라인을 제공하기를 바랍니다.

English

In this work, we share three insights for achieving state-of-the-art aesthetic quality in text-to-image generative models. We focus on three critical aspects for model improvement: enhancing color and contrast, improving generation across multiple aspect ratios, and improving human-centric fine details. First, we delve into the significance of the noise schedule in training a diffusion model, demonstrating its profound impact on realism and visual fidelity. Second, we address the challenge of accommodating various aspect ratios in image generation, emphasizing the importance of preparing a balanced bucketed dataset. Lastly, we investigate the crucial role of aligning model outputs with human preferences, ensuring that generated images resonate with human perceptual expectations. Through extensive analysis and experiments, Playground v2.5 demonstrates state-of-the-art performance in terms of aesthetic quality under various conditions and aspect ratios, outperforming both widely-used open-source models like SDXL and Playground v2, and closed-source commercial systems such as DALLE 3 and Midjourney v5.2. Our model is open-source, and we hope the development of Playground v2.5 provides valuable guidelines for researchers aiming to elevate the aesthetic quality of diffusion-based image generation models.