¿Cuántos Van Goghs se necesitan para Van Goghear? Encontrando el Umbral de Imitación

How Many Van Goghs Does It Take to Van Gogh? Finding the Imitation Threshold

October 19, 2024

Autores: Sahil Verma, Royi Rassin, Arnav Das, Gantavya Bhatt, Preethi Seshadri, Chirag Shah, Jeff Bilmes, Hannaneh Hajishirzi, Yanai Elazar

cs.AI

Resumen

Los modelos de texto a imagen se entrenan utilizando grandes conjuntos de datos recopilados mediante la extracción de pares de imágenes y texto de internet. Estos conjuntos de datos a menudo incluyen material privado, con derechos de autor y con licencia. Entrenar modelos con tales conjuntos de datos les permite generar imágenes con dicho contenido, lo que podría violar las leyes de copyright y la privacidad individual. Este fenómeno se denomina imitación: la generación de imágenes con contenido que tiene una similitud reconocible con sus imágenes de entrenamiento. En este trabajo estudiamos la relación entre la frecuencia de un concepto en el conjunto de datos de entrenamiento y la capacidad de un modelo para imitarlo. Buscamos determinar el punto en el que un modelo fue entrenado con suficientes instancias para imitar un concepto: el umbral de imitación. Planteamos esta cuestión como un nuevo problema: Encontrar el Umbral de Imitación (FIT) y proponemos un enfoque eficiente que estima el umbral de imitación sin incurrir en el enorme costo de entrenar múltiples modelos desde cero. Experimentamos con dos dominios: rostros humanos y estilos artísticos, para los cuales creamos cuatro conjuntos de datos, y evaluamos tres modelos de texto a imagen que fueron entrenados en dos conjuntos de datos de preentrenamiento. Nuestros resultados revelan que el umbral de imitación de estos modelos se encuentra en el rango de 200-600 imágenes, dependiendo del dominio y del modelo. El umbral de imitación puede proporcionar una base empírica para reclamos de violación de copyright y actúa como un principio rector para los desarrolladores de modelos de texto a imagen que buscan cumplir con las leyes de copyright y privacidad. Publicamos el código y los datos en https://github.com/vsahil/MIMETIC-2.git y el sitio web del proyecto está alojado en https://how-many-van-goghs-does-it-take.github.io.

English

Text-to-image models are trained using large datasets collected by scraping image-text pairs from the internet. These datasets often include private, copyrighted, and licensed material. Training models on such datasets enables them to generate images with such content, which might violate copyright laws and individual privacy. This phenomenon is termed imitation -- generation of images with content that has recognizable similarity to its training images. In this work we study the relationship between a concept's frequency in the training dataset and the ability of a model to imitate it. We seek to determine the point at which a model was trained on enough instances to imitate a concept -- the imitation threshold. We posit this question as a new problem: Finding the Imitation Threshold (FIT) and propose an efficient approach that estimates the imitation threshold without incurring the colossal cost of training multiple models from scratch. We experiment with two domains -- human faces and art styles -- for which we create four datasets, and evaluate three text-to-image models which were trained on two pretraining datasets. Our results reveal that the imitation threshold of these models is in the range of 200-600 images, depending on the domain and the model. The imitation threshold can provide an empirical basis for copyright violation claims and acts as a guiding principle for text-to-image model developers that aim to comply with copyright and privacy laws. We release the code and data at https://github.com/vsahil/MIMETIC-2.git and the project's website is hosted at https://how-many-van-goghs-does-it-take.github.io.