Сколько Ван Гогов нужно, чтобы получился Ван Гог? Поиск порога имитации

How Many Van Goghs Does It Take to Van Gogh? Finding the Imitation Threshold

October 19, 2024

Авторы: Sahil Verma, Royi Rassin, Arnav Das, Gantavya Bhatt, Preethi Seshadri, Chirag Shah, Jeff Bilmes, Hannaneh Hajishirzi, Yanai Elazar

cs.AI

Аннотация

Модели текст-к-изображению обучаются с использованием больших наборов данных, собранных путем сканирования пар изображений и текста из интернета. Эти наборы данных часто включают в себя частные, защищенные авторским правом и лицензионные материалы. Обучение моделей на таких наборах данных позволяет им создавать изображения с таким контентом, который может нарушать авторские права и индивидуальную конфиденциальность. Это явление называется имитацией - генерация изображений с контентом, который имеет узнаваемое сходство с обучающими изображениями. В данной работе мы изучаем связь между частотой концепции в обучающем наборе данных и способностью модели ее имитировать. Мы стремимся определить момент, когда модель была обучена на достаточном количестве экземпляров для имитации концепции - порог имитации. Мы ставим этот вопрос как новую проблему: Поиск Порога Имитации (FIT) и предлагаем эффективный подход, который оценивает порог имитации без огромных затрат на обучение нескольких моделей с нуля. Мы проводим эксперименты в двух областях - человеческие лица и художественные стили - для которых мы создаем четыре набора данных, и оцениваем три модели текст-к-изображению, которые были обучены на двух предварительных наборах данных. Наши результаты показывают, что порог имитации этих моделей находится в диапазоне от 200 до 600 изображений, в зависимости от области и модели. Порог имитации может служить эмпирическим основанием для утверждений о нарушении авторских прав и выступать в качестве руководящего принципа для разработчиков моделей текст-к-изображению, которые стремятся соблюдать авторские и конфиденциальные законы. Мы выкладываем код и данные на https://github.com/vsahil/MIMETIC-2.git, а веб-сайт проекта размещен по адресу https://how-many-van-goghs-does-it-take.github.io.

English

Text-to-image models are trained using large datasets collected by scraping image-text pairs from the internet. These datasets often include private, copyrighted, and licensed material. Training models on such datasets enables them to generate images with such content, which might violate copyright laws and individual privacy. This phenomenon is termed imitation -- generation of images with content that has recognizable similarity to its training images. In this work we study the relationship between a concept's frequency in the training dataset and the ability of a model to imitate it. We seek to determine the point at which a model was trained on enough instances to imitate a concept -- the imitation threshold. We posit this question as a new problem: Finding the Imitation Threshold (FIT) and propose an efficient approach that estimates the imitation threshold without incurring the colossal cost of training multiple models from scratch. We experiment with two domains -- human faces and art styles -- for which we create four datasets, and evaluate three text-to-image models which were trained on two pretraining datasets. Our results reveal that the imitation threshold of these models is in the range of 200-600 images, depending on the domain and the model. The imitation threshold can provide an empirical basis for copyright violation claims and acts as a guiding principle for text-to-image model developers that aim to comply with copyright and privacy laws. We release the code and data at https://github.com/vsahil/MIMETIC-2.git and the project's website is hosted at https://how-many-van-goghs-does-it-take.github.io.