Stylebreeder: Erforschung und Demokratisierung künstlerischer Stile durch Text-zu-Bild-Modelle

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Autoren: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Zusammenfassung

Text-zu-Bild-Modelle werden zunehmend beliebter und revolutionieren die Landschaft der digitalen Kunstschöpfung, indem sie hochdetaillierte und kreative visuelle Inhalte generieren. Diese Modelle werden in verschiedenen Bereichen weit verbreitet eingesetzt, insbesondere in der Kunstgenerierung, wo sie ein breites Spektrum kreativen Ausdrucks ermöglichen und den Zugang zur künstlerischen Schöpfung demokratisieren. In diesem Papier stellen wir STYLEBREEDER vor, einen umfassenden Datensatz von 6,8 Mio. Bildern und 1,8 Mio. Anregungen, die von 95.000 Benutzern auf Artbreeder generiert wurden, einer Plattform, die sich als bedeutendes Zentrum für kreative Exploration mit über 13 Mio. Benutzern etabliert hat. Wir stellen eine Reihe von Aufgaben mit diesem Datensatz vor, die darauf abzielen, vielfältige künstlerische Stile zu identifizieren, personalisierte Inhalte zu generieren und Stile basierend auf den Benutzerinteressen zu empfehlen. Indem wir einzigartige, vom Benutzer generierte Stile dokumentieren, die herkömmliche Kategorien wie 'Cyberpunk' oder 'Picasso' überschreiten, erforschen wir das Potenzial für einzigartige, crowdsourcing-basierte Stile, die tiefe Einblicke in das kollektive kreative Bewusstsein von Benutzern weltweit bieten könnten. Wir evaluieren auch verschiedene Personalisierungsmethoden zur Verbesserung des künstlerischen Ausdrucks und stellen einen Stil-Atlas vor, der diese Modelle im LoRA-Format für die öffentliche Nutzung verfügbar macht. Unsere Forschung zeigt das Potenzial von Text-zu-Bild-Diffusionsmodellen auf, um einzigartige künstlerische Ausdrücke aufzudecken und zu fördern, wodurch die Demokratisierung von KI in der Kunst vorangetrieben und eine vielfältigere und inklusivere künstlerische Gemeinschaft gefördert wird. Der Datensatz, der Code und die Modelle sind unter einer Public Domain (CC0)-Lizenz auf https://stylebreeder.github.io verfügbar.

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.