Kunstfreie generative Modelle: Kunstschöpfung ohne grafisches Kunstwissen

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Autoren: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Zusammenfassung

Wir untersuchen die Frage: "Wie viel Vorwissen über Kunst ist erforderlich, um Kunst zu schaffen?" Um dies zu untersuchen, schlagen wir ein Text-zu-Bild-Generierungsmodell vor, das ohne Zugriff auf kunstbezogene Inhalte trainiert wurde. Anschließend stellen wir eine einfache, aber effektive Methode vor, um einen Kunstadapter zu erlernen, der nur mit einigen Beispielen ausgewählter künstlerischer Stile trainiert wird. Unsere Experimente zeigen, dass von unserem Verfahren generierte Kunst von Benutzern als vergleichbar mit Kunst wahrgenommen wird, die von Modellen erzeugt wurde, die auf großen, kunstreichen Datensätzen trainiert wurden. Abschließend veranschaulichen wir durch Datenattributionsverfahren, wie Beispiele aus sowohl künstlerischen als auch nicht-künstlerischen Datensätzen zur Schaffung neuer künstlerischer Stile beigetragen haben.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.