Stylebreeder: Исследование и Демократизация Художественных Стилей через Модели Текст-к-Изображению

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Авторы: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Аннотация

Модели текст-в-изображение становятся все более популярными, революционизируя область создания цифрового искусства путем обеспечения высокодетализированной и креативной генерации визуального контента. Эти модели широко применяются в различных областях, особенно в генерации искусства, где они способствуют широкому спектру креативного выражения и демократизируют доступ к художественному творчеству. В данной статье мы представляем STYLEBREEDER, обширный набор данных из 6,8 млн изображений и 1,8 млн подсказок, созданных 95 тыс. пользователями на платформе Artbreeder, которая стала значительным центром для творческого исследования с более чем 13 млн пользователями. Мы представляем серию задач с использованием этого набора данных с целью выявления разнообразных художественных стилей, генерации персонализированного контента и рекомендации стилей на основе интересов пользователя. Документируя уникальные, созданные пользователями стили, выходящие за рамки традиционных категорий, таких как "киберпанк" или "Пикассо", мы исследуем потенциал уникальных, созданных сообществом стилей, которые могут предоставить глубокие понимания коллективной творческой психики пользователей по всему миру. Мы также оцениваем различные методы персонализации для улучшения художественного выражения и представляем стилевой атлас, сделав эти модели доступными в формате LoRA для общественного использования. Наши исследования демонстрируют потенциал моделей диффузии текст-в-изображение для выявления и продвижения уникальных художественных выражений, дальнейшей демократизации ИИ в искусстве и содействия более разнообразному и инклюзивному художественному сообществу. Набор данных, код и модели доступны по адресу https://stylebreeder.github.io под лицензией Общественного Домена (CC0).

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.