Модели генерации без искусства: создание искусства без знаний графического искусства.

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Авторы: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Аннотация

Мы исследуем вопрос: "Как много предварительных знаний о произведениях искусства необходимо для создания искусства?" Для исследования этого вопроса мы предлагаем модель генерации текста в изображение, обученную без доступа к контенту, связанному с искусством. Затем мы представляем простой, но эффективный метод обучения адаптера искусства, используя лишь несколько примеров выбранных художественных стилей. Наши эксперименты показывают, что искусство, созданное с использованием нашего метода, воспринимается пользователями как сравнимое с искусством, созданным моделями, обученными на больших, содержащих много искусства, наборах данных. Наконец, с помощью техник атрибуции данных мы иллюстрируем, как примеры из художественных и нехудожественных наборов данных способствовали созданию новых художественных стилей.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.