DataDream: Generazione Guidata di Dataset con Pochi Esempi

DataDream: Few-shot Guided Dataset Generation

July 15, 2024

Autori: Jae Myung Kim, Jessica Bader, Stephan Alaniz, Cordelia Schmid, Zeynep Akata

cs.AI

Abstract

Sebbene i modelli di diffusione testo-immagine abbiano dimostrato di raggiungere risultati all'avanguardia nella sintesi di immagini, devono ancora provare la loro efficacia nelle applicazioni downstream. Precedenti lavori hanno proposto di generare dati per l'addestramento di classificatori di immagini in presenza di un accesso limitato a dati reali. Tuttavia, questi metodi faticano a generare immagini in-distribuzione o a rappresentare caratteristiche fini, ostacolando così la generalizzazione dei modelli di classificazione addestrati su dataset sintetici. Proponiamo DataDream, un framework per sintetizzare dataset di classificazione che rappresentano in modo più fedele la distribuzione dei dati reali quando guidati da pochi esempi delle classi target. DataDream ottimizza i pesi LoRA per il modello di generazione di immagini sui pochi esempi reali prima di generare i dati di addestramento utilizzando il modello adattato. Successivamente, ottimizziamo i pesi LoRA per CLIP utilizzando i dati sintetici per migliorare la classificazione di immagini downstream rispetto agli approcci precedenti su una vasta gamma di dataset. Dimostriamo l'efficacia di DataDream attraverso esperimenti estesi, superando l'accuratezza di classificazione state-of-the-art con dati few-shot su 7 su 10 dataset, mentre rimanendo competitivi sugli altri 3. Inoltre, forniamo approfondimenti sull'impatto di vari fattori, come il numero di immagini real-shot e generate, nonché il calcolo di fine-tuning sulle prestazioni del modello. Il codice è disponibile all'indirizzo https://github.com/ExplainableML/DataDream.

English

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.