Stylebreeder: Esplorazione e Democratizzazione degli Stili Artistici attraverso Modelli di Testo-Immagine

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Autori: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Abstract

I modelli text-to-image stanno diventando sempre più popolari, rivoluzionando il panorama della creazione artistica digitale grazie alla generazione di contenuti visivi altamente dettagliati e creativi. Questi modelli sono stati ampiamente utilizzati in vari ambiti, in particolare nella generazione artistica, dove facilitano un ampio spettro di espressione creativa e democratizzano l'accesso alla creazione artistica. In questo articolo, presentiamo STYLEBREEDER, un dataset completo di 6,8 milioni di immagini e 1,8 milioni di prompt generati da 95.000 utenti su Artbreeder, una piattaforma che è emersa come un importante hub per l'esplorazione creativa con oltre 13 milioni di utenti. Introduciamo una serie di attività con questo dataset mirate a identificare stili artistici diversi, generare contenuti personalizzati e raccomandare stili basati sugli interessi degli utenti. Documentando stili unici generati dagli utenti che trascendono categorie convenzionali come 'cyberpunk' o 'Picasso', esploriamo il potenziale per stili unici, crowd-sourced, che potrebbero fornire approfondimenti sulla psiche creativa collettiva degli utenti di tutto il mondo. Valutiamo inoltre diversi metodi di personalizzazione per migliorare l'espressione artistica e introduciamo un atlante degli stili, rendendo questi modelli disponibili in formato LoRA per l'uso pubblico. La nostra ricerca dimostra il potenziale dei modelli di diffusione text-to-image nel scoprire e promuovere espressioni artistiche uniche, democratizzando ulteriormente l'IA nell'arte e favorendo una comunità artistica più diversificata e inclusiva. Il dataset, il codice e i modelli sono disponibili su https://stylebreeder.github.io con licenza di Pubblico Dominio (CC0).

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.