Stylebreeder: Exploración y democratización de estilos artísticos mediante modelos de texto a imagen

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Autores: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Resumen

Los modelos de texto a imagen están ganando cada vez más popularidad, revolucionando el panorama de la creación de arte digital al permitir la generación de contenido visual altamente detallado y creativo. Estos modelos se han empleado ampliamente en diversos dominios, particularmente en la generación de arte, donde facilitan un amplio espectro de expresión creativa y democratizan el acceso a la creación artística. En este artículo, presentamos STYLEBREEDER, un conjunto de datos integral de 6.8 millones de imágenes y 1.8 millones de prompts generados por 95,000 usuarios en Artbreeder, una plataforma que se ha convertido en un importante centro de exploración creativa con más de 13 millones de usuarios. Introducimos una serie de tareas con este conjunto de datos destinadas a identificar diversos estilos artísticos, generar contenido personalizado y recomendar estilos basados en los intereses del usuario. Al documentar estilos únicos generados por usuarios que trascienden categorías convencionales como 'cyberpunk' o 'Picasso', exploramos el potencial de estilos únicos creados de manera colaborativa que podrían ofrecer profundas perspectivas sobre la psique creativa colectiva de los usuarios en todo el mundo. También evaluamos diferentes métodos de personalización para mejorar la expresión artística e introducimos un atlas de estilos, poniendo estos modelos disponibles en formato LoRA para uso público. Nuestra investigación demuestra el potencial de los modelos de difusión de texto a imagen para descubrir y promover expresiones artísticas únicas, democratizando aún más la IA en el arte y fomentando una comunidad artística más diversa e inclusiva. El conjunto de datos, el código y los modelos están disponibles en https://stylebreeder.github.io bajo una licencia de Dominio Público (CC0).

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.