Stylebreeder: 텍스트-이미지 모델을 통한 예술적 스타일 탐색 및 대중화

Stylebreeder: Exploring and Democratizing Artistic Styles through Text-to-Image Models

June 20, 2024

저자: Matthew Zheng, Enis Simsar, Hidir Yesiltepe, Federico Tombari, Joel Simon, Pinar Yanardag

cs.AI

초록

텍스트-이미지 모델은 디지털 아트 창작의 지형을 혁신하며, 매우 세밀하고 창의적인 시각적 콘텐츠 생성을 가능하게 함으로써 점점 더 인기를 얻고 있습니다. 이러한 모델은 특히 아트 생성 분야에서 널리 활용되며, 다양한 창의적 표현을 촉진하고 예술 창작에 대한 접근성을 민주화하고 있습니다. 본 논문에서는 1,300만 명 이상의 사용자를 보유한 창의적 탐구의 주요 허브로 부상한 Artbreeder 플랫폼에서 95,000명의 사용자가 생성한 680만 개의 이미지와 180만 개의 프롬프트로 구성된 STYLEBREEDER 데이터셋을 소개합니다. 이 데이터셋을 활용하여 다양한 예술 스타일을 식별하고, 개인화된 콘텐츠를 생성하며, 사용자의 관심사에 기반한 스타일을 추천하는 일련의 작업을 제안합니다. '사이버펑크'나 '피카소'와 같은 전통적인 범주를 초월한 독특한 사용자 생성 스타일을 문서화함으로써, 전 세계 사용자들의 집단적 창의적 심리를 깊이 있게 이해할 수 있는 잠재력을 탐구합니다. 또한 예술적 표현을 강화하기 위해 다양한 개인화 방법을 평가하고, LoRA 형식으로 공개 사용 가능한 스타일 아틀라스를 소개합니다. 우리의 연구는 텍스트-이미지 확산 모델이 독특한 예술적 표현을 발견하고 촉진할 수 있는 잠재력을 입증하며, 예술 분야에서 AI의 민주화를 더욱 촉진하고 더 다양하고 포용적인 예술 커뮤니티를 조성합니다. 데이터셋, 코드 및 모델은 Public Domain (CC0) 라이선스 하에 https://stylebreeder.github.io에서 이용 가능합니다.

English

Text-to-image models are becoming increasingly popular, revolutionizing the landscape of digital art creation by enabling highly detailed and creative visual content generation. These models have been widely employed across various domains, particularly in art generation, where they facilitate a broad spectrum of creative expression and democratize access to artistic creation. In this paper, we introduce STYLEBREEDER, a comprehensive dataset of 6.8M images and 1.8M prompts generated by 95K users on Artbreeder, a platform that has emerged as a significant hub for creative exploration with over 13M users. We introduce a series of tasks with this dataset aimed at identifying diverse artistic styles, generating personalized content, and recommending styles based on user interests. By documenting unique, user-generated styles that transcend conventional categories like 'cyberpunk' or 'Picasso,' we explore the potential for unique, crowd-sourced styles that could provide deep insights into the collective creative psyche of users worldwide. We also evaluate different personalization methods to enhance artistic expression and introduce a style atlas, making these models available in LoRA format for public use. Our research demonstrates the potential of text-to-image diffusion models to uncover and promote unique artistic expressions, further democratizing AI in art and fostering a more diverse and inclusive artistic community. The dataset, code and models are available at https://stylebreeder.github.io under a Public Domain (CC0) license.