Modelos Generativos Livres de Arte: Criação de Arte sem Conhecimento em Arte Gráfica

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Autores: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Resumo

Exploramos a questão: "Quanta conhecimento de arte prévia é necessário para criar arte?" Para investigar isso, propomos um modelo de geração de texto para imagem treinado sem acesso a conteúdo relacionado à arte. Em seguida, introduzimos um método simples, porém eficaz, para aprender um adaptador de arte usando apenas alguns exemplos de estilos artísticos selecionados. Nossos experimentos mostram que a arte gerada usando nosso método é percebida pelos usuários como comparável à arte produzida por modelos treinados em conjuntos de dados grandes e ricos em arte. Por fim, por meio de técnicas de atribuição de dados, ilustramos como exemplos de conjuntos de dados artísticos e não artísticos contribuíram para a criação de novos estilos artísticos.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.