DataDream: Few-shot Gestuurd Dataset Generatie

DataDream: Few-shot Guided Dataset Generation

July 15, 2024

Auteurs: Jae Myung Kim, Jessica Bader, Stephan Alaniz, Cordelia Schmid, Zeynep Akata

cs.AI

Samenvatting

Hoewel text-to-image diffusiemodellen state-of-the-art resultaten hebben behaald in beeld synthese, moeten ze hun effectiviteit in downstream toepassingen nog bewijzen. Eerder werk heeft voorgesteld om data te genereren voor de training van beeldclassificatiemodellen bij beperkte toegang tot echte data. Deze methoden hebben echter moeite om in-distributiebeelden te genereren of fijnmazige kenmerken weer te geven, wat de generalisatie van classificatiemodellen die op synthetische datasets zijn getraind, belemmert. Wij stellen DataDream voor, een raamwerk voor het synthetiseren van classificatiedatasets die de echte dataverdeling getrouwer weergeven wanneer ze worden begeleid door few-shot voorbeelden van de doelklassen. DataDream fine-tunt LoRA-gewichten voor het beeldgeneratiemodel op de weinige echte afbeeldingen voordat de trainingsdata wordt gegenereerd met het aangepaste model. Vervolgens fine-tunen we LoRA-gewichten voor CLIP met behulp van de synthetische data om downstream beeldclassificatie te verbeteren ten opzichte van eerdere benaderingen op een grote verscheidenheid aan datasets. We demonstreren de effectiviteit van DataDream door uitgebreide experimenten, waarbij we state-of-the-art classificatienauwkeurigheid met few-shot data overtreffen op 7 van de 10 datasets, terwijl we competitief zijn op de andere 3. Daarnaast geven we inzicht in de impact van verschillende factoren, zoals het aantal real-shot en gegenereerde afbeeldingen, evenals de fine-tuning compute op modelprestaties. De code is beschikbaar op https://github.com/ExplainableML/DataDream.

English

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.