DataDream：少数事例誘導型データセット生成

DataDream: Few-shot Guided Dataset Generation

July 15, 2024

著者: Jae Myung Kim, Jessica Bader, Stephan Alaniz, Cordelia Schmid, Zeynep Akata

cs.AI

要旨

テキストから画像への拡散モデルは、画像合成において最先端の結果を達成することが示されていますが、下流タスクでの有効性はまだ証明されていません。これまでの研究では、限られた実データアクセス下での画像分類器トレーニング用データ生成が提案されてきました。しかし、これらの手法は分布内画像の生成や細粒度特徴の描写に苦戦しており、合成データセットでトレーニングされた分類モデルの汎化性能を妨げています。本論文では、ターゲットクラスの少数ショット例に基づいて、実データ分布をより忠実に表現する分類データセットを合成するフレームワーク「DataDream」を提案します。DataDreamは、まず少数の実画像を用いて画像生成モデルのLoRA重みをファインチューニングし、適応されたモデルを使用してトレーニングデータを生成します。次に、合成データを用いてCLIPのLoRA重みをファインチューニングし、多様なデータセットにおいて従来手法を上回る下流画像分類性能を実現します。広範な実験を通じてDataDreamの有効性を実証し、10のデータセットのうち7つで少数ショットデータを用いた最先端の分類精度を達成し、残りの3つでも競争力のある結果を示します。さらに、実ショット数、生成画像数、ファインチューニング計算量など、様々な要因がモデル性能に与える影響について洞察を提供します。コードはhttps://github.com/ExplainableML/DataDreamで公開されています。

English

While text-to-image diffusion models have been shown to achieve state-of-the-art results in image synthesis, they have yet to prove their effectiveness in downstream applications. Previous work has proposed to generate data for image classifier training given limited real data access. However, these methods struggle to generate in-distribution images or depict fine-grained features, thereby hindering the generalization of classification models trained on synthetic datasets. We propose DataDream, a framework for synthesizing classification datasets that more faithfully represents the real data distribution when guided by few-shot examples of the target classes. DataDream fine-tunes LoRA weights for the image generation model on the few real images before generating the training data using the adapted model. We then fine-tune LoRA weights for CLIP using the synthetic data to improve downstream image classification over previous approaches on a large variety of datasets. We demonstrate the efficacy of DataDream through extensive experiments, surpassing state-of-the-art classification accuracy with few-shot data across 7 out of 10 datasets, while being competitive on the other 3. Additionally, we provide insights into the impact of various factors, such as the number of real-shot and generated images as well as the fine-tuning compute on model performance. The code is available at https://github.com/ExplainableML/DataDream.