Stylebreeder: Explorando e Democratizando Estilos Artísticos através de Modelos de Texto-para-Imagem

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

Autores: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

Resumo

Os modelos de texto para imagem estão se tornando cada vez mais populares, revolucionando o cenário da criação de arte digital ao possibilitar a geração de conteúdo visual altamente detalhado e criativo. Esses modelos têm sido amplamente empregados em diversos domínios, especialmente na geração de arte, onde facilitam um amplo espectro de expressão criativa e democratizam o acesso à criação artística. Neste artigo, apresentamos o STYLEBREEDER, um conjunto de dados abrangente com 6,8 milhões de imagens e 1,8 milhão de sugestões geradas por 95 mil usuários no Artbreeder, uma plataforma que se destacou como um importante centro de exploração criativa com mais de 13 milhões de usuários. Introduzimos uma série de tarefas com este conjunto de dados com o objetivo de identificar estilos artísticos diversos, gerar conteúdo personalizado e recomendar estilos com base nos interesses do usuário. Ao documentar estilos únicos gerados pelos usuários que transcendem categorias convencionais como 'cyberpunk' ou 'Picasso', exploramos o potencial de estilos únicos, colaborativos, que poderiam fornecer insights profundos na psique criativa coletiva dos usuários em todo o mundo. Também avaliamos diferentes métodos de personalização para aprimorar a expressão artística e introduzimos um atlas de estilos, disponibilizando esses modelos no formato LoRA para uso público. Nossa pesquisa demonstra o potencial dos modelos de difusão de texto para imagem para descobrir e promover expressões artísticas únicas, democratizando ainda mais a IA na arte e fomentando uma comunidade artística mais diversificada e inclusiva. O conjunto de dados, código e modelos estão disponíveis em https://stylebreeder.github.io sob uma licença de Domínio Público (CC0).

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.