DataDream: Generierung von Datensätzen mit wenigen Beispielen

DataDream: Few-shot Guided Dataset Generation

July 15, 2024

Autoren: Jae Myung Kim, Jessica Bader, Stephan Alaniz, Cordelia Schmid, Zeynep Akata

cs.AI

Zusammenfassung

Obwohl Text-zu-Bild-Diffusionsmodelle gezeigt haben, dass sie Spitzenleistungen bei der Bildsynthese erzielen können, haben sie ihre Wirksamkeit in nachgelagerten Anwendungen noch nicht unter Beweis gestellt. Frühere Arbeiten haben vorgeschlagen, Daten für das Training von Bildklassifikatoren zu generieren, wenn nur begrenzter Zugriff auf echte Daten besteht. Diese Methoden haben jedoch Schwierigkeiten, Bilder innerhalb der Verteilung zu generieren oder feingliedrige Merkmale darzustellen, was die Verallgemeinerung von Klassifikationsmodellen, die auf synthetischen Datensätzen trainiert sind, behindert. Wir schlagen DataDream vor, ein Framework zur Synthese von Klassifikationsdatensätzen, das die reale Datenverteilung treuer darstellt, wenn es von wenigen Beispielen der Zielklassen geleitet wird. DataDream feinabstimmt die LoRA-Gewichte für das Bildgenerierungsmodell anhand der wenigen echten Bilder, bevor es die Trainingsdaten mit dem angepassten Modell generiert. Anschließend feinabstimmt DataDream die LoRA-Gewichte für CLIP unter Verwendung der synthetischen Daten, um die nachgelagerte Bildklassifikation im Vergleich zu früheren Ansätzen auf einer Vielzahl von Datensätzen zu verbessern. Wir zeigen die Wirksamkeit von DataDream durch umfangreiche Experimente, die die Spitzenklasse bei der Klassifikationsgenauigkeit mit wenigen Beispielen auf 7 von 10 Datensätzen übertreffen, während sie bei den anderen 3 wettbewerbsfähig sind. Darüber hinaus geben wir Einblicke in die Auswirkungen verschiedener Faktoren, wie die Anzahl der echten und generierten Bilder sowie die Feinabstimmungsberechnung auf die Leistung des Modells. Der Code ist verfügbar unter https://github.com/ExplainableML/DataDream.

English

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.