Stylebreeder : Exploration et démocratisation des styles artistiques grâce aux modèles de génération d'images à partir de texte

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Auteurs: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Résumé

Les modèles de génération d'images à partir de texte gagnent en popularité, révolutionnant le paysage de la création artistique numérique en permettant la génération de contenus visuels hautement détaillés et créatifs. Ces modèles sont largement utilisés dans divers domaines, notamment dans la génération artistique, où ils facilitent un large éventail d'expressions créatives et démocratisent l'accès à la création artistique. Dans cet article, nous présentons STYLEBREEDER, un ensemble de données complet de 6,8 millions d'images et de 1,8 million de prompts générés par 95 000 utilisateurs sur Artbreeder, une plateforme devenue un hub majeur pour l'exploration créative avec plus de 13 millions d'utilisateurs. Nous proposons une série de tâches avec cet ensemble de données visant à identifier des styles artistiques diversifiés, à générer des contenus personnalisés et à recommander des styles en fonction des intérêts des utilisateurs. En documentant des styles uniques générés par les utilisateurs qui transcendent les catégories conventionnelles comme 'cyberpunk' ou 'Picasso', nous explorons le potentiel de styles uniques issus de la foule, qui pourraient fournir des insights profonds sur la psyché créative collective des utilisateurs à travers le monde. Nous évaluons également différentes méthodes de personnalisation pour enrichir l'expression artistique et introduisons un atlas des styles, rendant ces modèles disponibles au format LoRA pour un usage public. Notre recherche démontre le potentiel des modèles de diffusion texte-image à découvrir et promouvoir des expressions artistiques uniques, démocratisant davantage l'IA dans l'art et favorisant une communauté artistique plus diverse et inclusive. L'ensemble de données, le code et les modèles sont disponibles à l'adresse https://stylebreeder.github.io sous une licence Domaine Public (CC0).

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.