Stylebreeder: Het verkennen en democratiseren van artistieke stijlen via tekst-naar-beeldmodellen

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Auteurs: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Samenvatting

Text-to-image-modellen worden steeds populairder en revolutioneren het landschap van digitale kunstcreatie door het mogelijk te maken van zeer gedetailleerde en creatieve visuele inhoud. Deze modellen worden op grote schaal ingezet in verschillende domeinen, met name in kunstgeneratie, waar ze een breed spectrum aan creatieve expressie faciliteren en de toegang tot artistieke creatie democratiseren. In dit artikel introduceren we STYLEBREEDER, een uitgebreide dataset van 6,8 miljoen afbeeldingen en 1,8 miljoen prompts gegenereerd door 95.000 gebruikers op Artbreeder, een platform dat is uitgegroeid tot een belangrijk centrum voor creatieve verkenning met meer dan 13 miljoen gebruikers. We introduceren een reeks taken met deze dataset die gericht zijn op het identificeren van diverse artistieke stijlen, het genereren van gepersonaliseerde inhoud en het aanbevelen van stijlen op basis van gebruikersinteresses. Door unieke, door gebruikers gegenereerde stijlen te documenteren die conventionele categorieën zoals 'cyberpunk' of 'Picasso' overstijgen, onderzoeken we het potentieel voor unieke, door de menigte gegenereerde stijlen die diepgaande inzichten kunnen bieden in het collectieve creatieve bewustzijn van gebruikers wereldwijd. We evalueren ook verschillende personalisatiemethoden om artistieke expressie te versterken en introduceren een stijlatlas, waarbij deze modellen beschikbaar worden gesteld in LoRA-formaat voor publiek gebruik. Ons onderzoek toont het potentieel aan van text-to-image-diffusiemodellen om unieke artistieke expressies te ontdekken en te bevorderen, waardoor AI in de kunst verder wordt gedemocratiseerd en een meer diverse en inclusieve artistieke gemeenschap wordt bevorderd. De dataset, code en modellen zijn beschikbaar op https://stylebreeder.github.io onder een Public Domain (CC0)-licentie.

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.