Playground v2.5 : Trois perspectives pour améliorer la qualité esthétique dans la génération d'images à partir de texte

Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation

February 27, 2024

Auteurs: Daiqing Li, Aleks Kamko, Ehsan Akhgari, Ali Sabet, Linmiao Xu, Suhail Doshi

cs.AI

Résumé

Dans ce travail, nous partageons trois insights pour atteindre une qualité esthétique de pointe dans les modèles génératifs de texte-à-image. Nous nous concentrons sur trois aspects critiques pour l'amélioration des modèles : l'amélioration des couleurs et du contraste, la génération sur plusieurs ratios d'aspect, et les détails fins centrés sur l'humain. Premièrement, nous explorons l'importance du calendrier de bruit dans l'entraînement d'un modèle de diffusion, démontrant son impact profond sur le réalisme et la fidélité visuelle. Deuxièmement, nous abordons le défi de l'adaptation à divers ratios d'aspect dans la génération d'images, en soulignant l'importance de préparer un jeu de données équilibré et segmenté. Enfin, nous étudions le rôle crucial de l'alignement des sorties du modèle avec les préférences humaines, garantissant que les images générées correspondent aux attentes perceptives humaines. À travers une analyse approfondie et des expériences, Playground v2.5 démontre des performances de pointe en termes de qualité esthétique dans diverses conditions et ratios d'aspect, surpassant à la fois les modèles open-source largement utilisés comme SDXL et Playground v2, ainsi que les systèmes commerciaux propriétaires tels que DALLE 3 et Midjourney v5.2. Notre modèle est open-source, et nous espérons que le développement de Playground v2.5 fournit des lignes directrices précieuses pour les chercheurs visant à élever la qualité esthétique des modèles de génération d'images basés sur la diffusion.

English

In this work, we share three insights for achieving state-of-the-art aesthetic quality in text-to-image generative models. We focus on three critical aspects for model improvement: enhancing color and contrast, improving generation across multiple aspect ratios, and improving human-centric fine details. First, we delve into the significance of the noise schedule in training a diffusion model, demonstrating its profound impact on realism and visual fidelity. Second, we address the challenge of accommodating various aspect ratios in image generation, emphasizing the importance of preparing a balanced bucketed dataset. Lastly, we investigate the crucial role of aligning model outputs with human preferences, ensuring that generated images resonate with human perceptual expectations. Through extensive analysis and experiments, Playground v2.5 demonstrates state-of-the-art performance in terms of aesthetic quality under various conditions and aspect ratios, outperforming both widely-used open-source models like SDXL and Playground v2, and closed-source commercial systems such as DALLE 3 and Midjourney v5.2. Our model is open-source, and we hope the development of Playground v2.5 provides valuable guidelines for researchers aiming to elevate the aesthetic quality of diffusion-based image generation models.