Иерархический отбор наборов данных для обеспечения высококачественного обмена данными

Hierarchical Dataset Selection for High-Quality Data Sharing

December 11, 2025

Авторы: Xiaona Zhou, Yingyan Zeng, Ran Jin, Ismini Lourentzou

cs.AI

Аннотация

Успех современных методов машинного обучения зависит от доступа к высококачественным обучающим данным. Во многих реальных сценариях, таких как получение данных из публичных репозиториев или обмен между учреждениями, данные естественным образом организованы в дискретные наборы, различающиеся по релевантности, качеству и полезности. Выбор репозиториев или учреждений для поиска полезных наборов данных, а также определение того, какие наборы данных включить в обучение модели, являются критически важными решениями. Однако большинство существующих методов выбирают отдельные образцы и рассматривают все данные как одинаково релевантные, игнорируя различия между наборами данных и их источниками. В данной работе мы формализуем задачу выбора наборов данных: отбора целых наборов данных из большого гетерогенного пула для повышения итоговой производительности при ограниченных ресурсах. Мы предлагаем метод DaSH (Dataset Selection via Hierarchies), который моделирует полезность как на уровне отдельных наборов данных, так и на уровне групп (например, коллекций, учреждений), обеспечивая эффективное обобщение при ограниченном количестве наблюдений. На двух публичных бенчмарках (Digit-Five и DomainNet) DaSH превосходит современные базовые методы отбора данных на величину до 26.2% по точности, требуя при этом значительно меньше шагов исследования. Абляционные исследования демонстрируют устойчивость DaSH к условиям с ограниченными ресурсами и отсутствию релевантных наборов данных, что делает его пригодным для масштабируемого и адаптивного выбора наборов данных в практических рабочих процессах обучения из множества источников.

English

The success of modern machine learning hinges on access to high-quality training data. In many real-world scenarios, such as acquiring data from public repositories or sharing across institutions, data is naturally organized into discrete datasets that vary in relevance, quality, and utility. Selecting which repositories or institutions to search for useful datasets, and which datasets to incorporate into model training are therefore critical decisions, yet most existing methods select individual samples and treat all data as equally relevant, ignoring differences between datasets and their sources. In this work, we formalize the task of dataset selection: selecting entire datasets from a large, heterogeneous pool to improve downstream performance under resource constraints. We propose Dataset Selection via Hierarchies (DaSH), a dataset selection method that models utility at both dataset and group (e.g., collections, institutions) levels, enabling efficient generalization from limited observations. Across two public benchmarks (Digit-Five and DomainNet), DaSH outperforms state-of-the-art data selection baselines by up to 26.2% in accuracy, while requiring significantly fewer exploration steps. Ablations show DaSH is robust to low-resource settings and lack of relevant datasets, making it suitable for scalable and adaptive dataset selection in practical multi-source learning workflows.