Playground v2.5: Tres ideas para mejorar la calidad estética en la generación de imágenes a partir de texto

Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation

February 27, 2024

Autores: Daiqing Li, Aleks Kamko, Ehsan Akhgari, Ali Sabet, Linmiao Xu, Suhail Doshi

cs.AI

Resumen

En este trabajo, compartimos tres ideas clave para lograr una calidad estética de vanguardia en modelos generativos de texto a imagen. Nos enfocamos en tres aspectos críticos para la mejora del modelo: mejorar el color y el contraste, optimizar la generación en múltiples relaciones de aspecto y perfeccionar los detalles finos centrados en lo humano. Primero, profundizamos en la importancia del esquema de ruido durante el entrenamiento de un modelo de difusión, demostrando su impacto significativo en el realismo y la fidelidad visual. Segundo, abordamos el desafío de adaptar diversas relaciones de aspecto en la generación de imágenes, destacando la importancia de preparar un conjunto de datos equilibrado y segmentado. Por último, investigamos el papel crucial de alinear las salidas del modelo con las preferencias humanas, asegurando que las imágenes generadas resuenen con las expectativas perceptivas humanas. A través de un análisis extenso y experimentos, Playground v2.5 demuestra un rendimiento de vanguardia en términos de calidad estética bajo diversas condiciones y relaciones de aspecto, superando tanto a modelos de código abierto ampliamente utilizados como SDXL y Playground v2, como a sistemas comerciales de código cerrado como DALLE 3 y Midjourney v5.2. Nuestro modelo es de código abierto, y esperamos que el desarrollo de Playground v2.5 ofrezca pautas valiosas para investigadores que buscan elevar la calidad estética de los modelos de generación de imágenes basados en difusión.

English

In this work, we share three insights for achieving state-of-the-art aesthetic quality in text-to-image generative models. We focus on three critical aspects for model improvement: enhancing color and contrast, improving generation across multiple aspect ratios, and improving human-centric fine details. First, we delve into the significance of the noise schedule in training a diffusion model, demonstrating its profound impact on realism and visual fidelity. Second, we address the challenge of accommodating various aspect ratios in image generation, emphasizing the importance of preparing a balanced bucketed dataset. Lastly, we investigate the crucial role of aligning model outputs with human preferences, ensuring that generated images resonate with human perceptual expectations. Through extensive analysis and experiments, Playground v2.5 demonstrates state-of-the-art performance in terms of aesthetic quality under various conditions and aspect ratios, outperforming both widely-used open-source models like SDXL and Playground v2, and closed-source commercial systems such as DALLE 3 and Midjourney v5.2. Our model is open-source, and we hope the development of Playground v2.5 provides valuable guidelines for researchers aiming to elevate the aesthetic quality of diffusion-based image generation models.