Modelos Generativos Libres de Arte: Creación de Arte sin Conocimientos en Artes Gráficas

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Autores: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Resumen

Exploramos la pregunta: "¿Cuánto conocimiento de arte previo se necesita para crear arte?" Para investigar esto, proponemos un modelo de generación de texto a imagen entrenado sin acceso a contenido relacionado con el arte. Luego introducimos un método simple pero efectivo para aprender un adaptador de arte utilizando solo algunos ejemplos de estilos artísticos seleccionados. Nuestros experimentos muestran que el arte generado utilizando nuestro método es percibido por los usuarios como comparable al arte producido por modelos entrenados en conjuntos de datos grandes y ricos en arte. Finalmente, a través de técnicas de atribución de datos, ilustramos cómo ejemplos de conjuntos de datos artísticos y no artísticos contribuyeron a la creación de nuevos estilos artísticos.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.