画像分類のためのデータキュレーション戦略の大規模ベンチマーク：SELECT

SELECT: A Large-Scale Benchmark of Data Curation Strategies for Image Classification

October 7, 2024

著者: Benjamin Feuer, Jiawei Xu, Niv Cohen, Patrick Yubeaton, Govind Mittal, Chinmay Hegde

cs.AI

要旨

データキュレーションは、サンプルを収集し整理して効率的な学習をサポートするデータセットを作成する問題です。このタスクの中心性にもかかわらず、さまざまなキュレーション方法の大規模かつ体系的な比較にはほとんど取り組まれていませんでした。本研究では、データキュレーション戦略の形式的評価に向けた取り組みを行い、画像分類のためのキュレーション戦略の大規模ベンチマークであるSELECTを初めて紹介します。 SELECTベンチマークのベースライン手法を生成するために、ImageNet-1Kの最大のスーパーセットであるImageNet++という新しいデータセットを作成しました。当該データセットは、ImageNetを5つの新しいトレーニングデータシフトで拡張しており、それぞれがImageNet-1K自体とほぼ同じサイズであり、異なるキュレーション戦略を使用して構築されています。データキュレーションのベースラインを評価するために、2つの方法で評価を行いました：(i) 各トレーニングデータシフトを使用して同一の画像分類モデルをゼロからトレーニングすること、(ii) データ自体を事前学習された自己教師付き表現に適合させること。 我々の調査結果は興味深いトレンドを示しており、特に合成データ生成やCLIP埋め込みを使用したルックアップなどの最近のデータキュレーション方法に関連しています。これらの戦略は特定のタスクにおいて非常に競争力があることを示していますが、元のImageNet-1Kデータセットを構築するために使用されたキュレーション戦略が金の基準であることを示しています。私たちのベンチマークが新しい手法の道筋を明らかにし、ギャップをさらに縮小するための新しい手法への道を示すことが期待されます。私たちは、https://github.com/jimmyxu123/SELECTで私たちのチェックポイント、コード、ドキュメント、およびデータセットへのリンクを公開しています。

English

Data curation is the problem of how to collect and organize samples into a dataset that supports efficient learning. Despite the centrality of the task, little work has been devoted towards a large-scale, systematic comparison of various curation methods. In this work, we take steps towards a formal evaluation of data curation strategies and introduce SELECT, the first large-scale benchmark of curation strategies for image classification. In order to generate baseline methods for the SELECT benchmark, we create a new dataset, ImageNet++, which constitutes the largest superset of ImageNet-1K to date. Our dataset extends ImageNet with 5 new training-data shifts, each approximately the size of ImageNet-1K itself, and each assembled using a distinct curation strategy. We evaluate our data curation baselines in two ways: (i) using each training-data shift to train identical image classification models from scratch (ii) using the data itself to fit a pretrained self-supervised representation. Our findings show interesting trends, particularly pertaining to recent methods for data curation such as synthetic data generation and lookup based on CLIP embeddings. We show that although these strategies are highly competitive for certain tasks, the curation strategy used to assemble the original ImageNet-1K dataset remains the gold standard. We anticipate that our benchmark can illuminate the path for new methods to further reduce the gap. We release our checkpoints, code, documentation, and a link to our dataset at https://github.com/jimmyxu123/SELECT.