SELECT: Een grootschalige benchmark van datacuratiestrategieën voor beeldclassificatie.

SELECT: A Large-Scale Benchmark of Data Curation Strategies for Image Classification

October 7, 2024

Auteurs: Benjamin Feuer, Jiawei Xu, Niv Cohen, Patrick Yubeaton, Govind Mittal, Chinmay Hegde

cs.AI

Samenvatting

Data curatie is het probleem van hoe monsters te verzamelen en organiseren in een dataset die efficiënt leren ondersteunt. Ondanks de centrale rol van de taak, is er weinig werk verricht aan een grootschalige, systematische vergelijking van verschillende curatiemethoden. In dit werk zetten we stappen naar een formele evaluatie van datacuratiestrategieën en introduceren SELECT, de eerste grootschalige benchmark van curatiestrategieën voor beeldclassificatie. Om basismethoden te genereren voor de SELECT benchmark, creëren we een nieuwe dataset, ImageNet++, die de grootste superset van ImageNet-1K tot nu toe vormt. Onze dataset breidt ImageNet uit met 5 nieuwe training-data shifts, elk ongeveer even groot als ImageNet-1K zelf, en elk samengesteld met een afzonderlijke curatiestrategie. We evalueren onze datacuratie-baselines op twee manieren: (i) door elk trainingsdataschift te gebruiken om identieke beeldclassificatiemodellen vanaf nul te trainen (ii) door de data zelf te gebruiken om een voorgeleerde zelf-supervised representatie te passen. Onze bevindingen tonen interessante trends, met name met betrekking tot recente methoden voor datacuratie zoals synthetische datageneratie en opzoeken op basis van CLIP-embeddings. We tonen aan dat hoewel deze strategieën zeer concurrerend zijn voor bepaalde taken, de curatiestrategie die is gebruikt om de oorspronkelijke ImageNet-1K dataset samen te stellen nog steeds de gouden standaard is. We verwachten dat onze benchmark het pad kan verlichten voor nieuwe methoden om de kloof verder te verkleinen. We publiceren onze checkpoints, code, documentatie en een link naar onze dataset op https://github.com/jimmyxu123/SELECT.

English

Data curation is the problem of how to collect and organize samples into a dataset that supports efficient learning. Despite the centrality of the task, little work has been devoted towards a large-scale, systematic comparison of various curation methods. In this work, we take steps towards a formal evaluation of data curation strategies and introduce SELECT, the first large-scale benchmark of curation strategies for image classification. In order to generate baseline methods for the SELECT benchmark, we create a new dataset, ImageNet++, which constitutes the largest superset of ImageNet-1K to date. Our dataset extends ImageNet with 5 new training-data shifts, each approximately the size of ImageNet-1K itself, and each assembled using a distinct curation strategy. We evaluate our data curation baselines in two ways: (i) using each training-data shift to train identical image classification models from scratch (ii) using the data itself to fit a pretrained self-supervised representation. Our findings show interesting trends, particularly pertaining to recent methods for data curation such as synthetic data generation and lookup based on CLIP embeddings. We show that although these strategies are highly competitive for certain tasks, the curation strategy used to assemble the original ImageNet-1K dataset remains the gold standard. We anticipate that our benchmark can illuminate the path for new methods to further reduce the gap. We release our checkpoints, code, documentation, and a link to our dataset at https://github.com/jimmyxu123/SELECT.