DataDream: Geração de Conjuntos de Dados Guiada por Poucas Exemplos

DataDream: Few-shot Guided Dataset Generation

July 15, 2024

Autores: Jae Myung Kim, Jessica Bader, Stephan Alaniz, Cordelia Schmid, Zeynep Akata

cs.AI

Resumo

Embora os modelos de difusão de texto para imagem tenham demonstrado alcançar resultados de ponta na síntese de imagens, ainda não provaram sua eficácia em aplicações subsequentes. Trabalhos anteriores propuseram gerar dados para o treinamento de classificadores de imagem com acesso limitado a dados reais. No entanto, esses métodos têm dificuldade em gerar imagens dentro da distribuição ou em representar características detalhadas, o que prejudica a generalização dos modelos de classificação treinados em conjuntos de dados sintéticos. Propomos o DataDream, um framework para sintetizar conjuntos de dados de classificação que representam de forma mais fiel a distribuição de dados reais quando orientados por exemplos de poucas imagens das classes-alvo. O DataDream ajusta finamente os pesos do LoRA para o modelo de geração de imagens nas poucas imagens reais antes de gerar os dados de treinamento usando o modelo adaptado. Em seguida, ajustamos finamente os pesos do LoRA para o CLIP usando os dados sintéticos para melhorar a classificação de imagens subsequentes em relação a abordagens anteriores em uma grande variedade de conjuntos de dados. Demonstramos a eficácia do DataDream por meio de experimentos extensos, superando a precisão de classificação de ponta com dados de poucas imagens em 7 de 10 conjuntos de dados, enquanto sendo competitivo nos outros 3. Além disso, fornecemos insights sobre o impacto de vários fatores, como o número de imagens reais e geradas, bem como o ajuste fino de cálculos no desempenho do modelo. O código está disponível em https://github.com/ExplainableML/DataDream.

English

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.