Sélection hiérarchique de jeux de données pour un partage de données de haute qualité

Hierarchical Dataset Selection for High-Quality Data Sharing

December 11, 2025

papers.authors: Xiaona Zhou, Yingyan Zeng, Ran Jin, Ismini Lourentzou

cs.AI

papers.abstract

Le succès de l'apprentissage automatique moderne repose sur l'accès à des données d'apprentissage de haute qualité. Dans de nombreux scénarios réels, comme l'acquisition de données depuis des dépôts publics ou le partage entre institutions, les données sont naturellement organisées en ensembles discrets qui varient en pertinence, qualité et utilité. La sélection des dépôts ou institutions à interroger pour trouver des ensembles de données utiles, ainsi que le choix des ensembles à intégrer à l'entraînement du modèle, sont donc des décisions cruciales. Pourtant, la plupart des méthodes existantes sélectionnent des échantillons individuels et traitent toutes les données comme également pertinentes, ignorant les différences entre les ensembles de données et leurs sources. Dans ce travail, nous formalisons la tâche de sélection d'ensembles de données : choisir des ensembles entiers dans un vaste pool hétérogène afin d'améliorer les performances en aval sous contraintes de ressources. Nous proposons DaSH (Dataset Selection via Hierarchies), une méthode de sélection qui modélise l'utilité à la fois au niveau des ensembles de données et des groupes (par exemple, collections, institutions), permettant une généralisation efficace à partir d'observations limitées. Sur deux benchmarks publics (Digit-Five et DomainNet), DaSH surpasse les méthodes de référence en sélection de données avec une amélioration allant jusqu'à 26,2 % en précision, tout en nécessitant beaucoup moins d'étapes d'exploration. Des études d'ablation montrent que DaSH est robuste dans des contextes à faibles ressources et en l'absence d'ensembles de données pertinents, ce qui le rend adapté à une sélection d'ensembles de données évolutive et adaptive dans les workflows pratiques d'apprentissage multi-source.

English

The success of modern machine learning hinges on access to high-quality training data. In many real-world scenarios, such as acquiring data from public repositories or sharing across institutions, data is naturally organized into discrete datasets that vary in relevance, quality, and utility. Selecting which repositories or institutions to search for useful datasets, and which datasets to incorporate into model training are therefore critical decisions, yet most existing methods select individual samples and treat all data as equally relevant, ignoring differences between datasets and their sources. In this work, we formalize the task of dataset selection: selecting entire datasets from a large, heterogeneous pool to improve downstream performance under resource constraints. We propose Dataset Selection via Hierarchies (DaSH), a dataset selection method that models utility at both dataset and group (e.g., collections, institutions) levels, enabling efficient generalization from limited observations. Across two public benchmarks (Digit-Five and DomainNet), DaSH outperforms state-of-the-art data selection baselines by up to 26.2% in accuracy, while requiring significantly fewer exploration steps. Ablations show DaSH is robust to low-resource settings and lack of relevant datasets, making it suitable for scalable and adaptive dataset selection in practical multi-source learning workflows.