Kunstvrije generatieve modellen: Kunstcreatie zonder kennis van grafische kunst

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Auteurs: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Samenvatting

We onderzoeken de vraag: "Hoeveel voorkennis van kunst is nodig om kunst te creëren?" Om dit te onderzoeken, stellen we een tekst-naar-afbeelding generatiemodel voor dat is getraind zonder toegang tot kunstgerelateerde inhoud. Vervolgens introduceren we een eenvoudige maar effectieve methode om een kunstadapter te leren met slechts enkele voorbeelden van geselecteerde artistieke stijlen. Onze experimenten tonen aan dat kunst die is gegenereerd met onze methode door gebruikers wordt ervaren als vergelijkbaar met kunst die is geproduceerd door modellen die zijn getraind op grote, kunstrijke datasets. Tenslotte illustreren we door middel van gegevensattributietechnieken hoe voorbeelden uit zowel artistieke als niet-artistieke datasets hebben bijgedragen aan de creatie van nieuwe artistieke stijlen.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.