DataDream: Generación de Conjuntos de Datos Guiada de Pocas Muestras

DataDream: Few-shot Guided Dataset Generation

July 15, 2024

Autores: Jae Myung Kim, Jessica Bader, Stephan Alaniz, Cordelia Schmid, Zeynep Akata

cs.AI

Resumen

Si bien se ha demostrado que los modelos de difusión de texto a imagen logran resultados de vanguardia en la síntesis de imágenes, aún no han probado su efectividad en aplicaciones posteriores. Trabajos anteriores han propuesto generar datos para el entrenamiento de clasificadores de imágenes con acceso limitado a datos reales. Sin embargo, estos métodos luchan por generar imágenes dentro de la distribución o representar características detalladas, lo que dificulta la generalización de los modelos de clasificación entrenados en conjuntos de datos sintéticos. Proponemos DataDream, un marco para sintetizar conjuntos de datos de clasificación que representan de manera más fiel la distribución de datos reales cuando se guían por ejemplos de pocas tomas de las clases objetivo. DataDream ajusta finamente los pesos de LoRA para el modelo de generación de imágenes en las pocas imágenes reales antes de generar los datos de entrenamiento utilizando el modelo adaptado. Luego ajustamos finamente los pesos de LoRA para CLIP utilizando los datos sintéticos para mejorar la clasificación de imágenes posteriores a enfoques anteriores en una amplia variedad de conjuntos de datos. Demostramos la eficacia de DataDream a través de experimentos extensos, superando la precisión de clasificación de vanguardia con datos de pocas tomas en 7 de 10 conjuntos de datos, siendo competitivos en los otros 3. Además, proporcionamos información sobre el impacto de varios factores, como el número de imágenes reales y generadas, así como el ajuste fino del cálculo en el rendimiento del modelo. El código está disponible en https://github.com/ExplainableML/DataDream.

English

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.