Modèles génératifs sans art : création artistique sans connaissance en art graphique

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Auteurs: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Résumé

Nous explorons la question : "Combien de connaissances préalables en art sont nécessaires pour créer de l'art ?" Pour étudier cela, nous proposons un modèle de génération de texte en image entraîné sans accès à du contenu lié à l'art. Nous introduisons ensuite une méthode simple mais efficace pour apprendre un adaptateur artistique en n'utilisant que quelques exemples de styles artistiques sélectionnés. Nos expériences montrent que l'art généré en utilisant notre méthode est perçu par les utilisateurs comme comparable à l'art produit par des modèles entraînés sur de grands ensembles de données riches en art. Enfin, à travers des techniques d'attribution de données, nous illustrons comment des exemples provenant à la fois d'ensembles de données artistiques et non artistiques ont contribué à la création de nouveaux styles artistiques.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.