Отбор образцов с использованием многозадачных автоэнкодеров в федеративном обучении с неодинаково распределенными данными
Sample Selection Using Multi-Task Autoencoders in Federated Learning with Non-IID Data
April 28, 2026
Авторы: Emre Ardıç, Yakup Genç
cs.AI
Аннотация
Федеративное обучение — это парадигма машинного обучения, в которой множество устройств совместно обучают модель под управлением центрального сервера при сохранении конфиденциальности данных. Однако его эффективность часто ограничивается из-за наличия избыточных, вредоносных или аномальных примеров, что приводит к деградации модели и снижению производительности. Для решения этих проблем мы предлагаем новые методы отбора примеров для классификации изображений, использующие многозадачный автоэнкодер для оценки вклада примеров на основе анализа потерь и признаков. Наш подход включает unsupervised-обнаружение выбросов с помощью методов one-class SVM (OCSVM), isolation forest (IF) и адаптивного порога потерь (AT), управляемых центральным сервером для фильтрации зашумленных примеров на клиентах. Мы также предлагаем многоклассовую функцию потерь на основе deep support vector data description (SVDD), контролируемую центральным сервером, для улучшения отбора примеров на основе признаков. Мы проверили наши методы на наборах данных CIFAR10 и MNIST при различном количестве клиентов, не-IID распределениях и уровне шума до 40%. Результаты демонстрируют значительное улучшение точности при отборе примеров по потерям: прирост до 7,02% на CIFAR10 с OCSVM и 1,83% на MNIST с AT. Кроме того, наша федеративная функция потерь SVDD дополнительно улучшает отбор примеров по признакам, обеспечивая прирост точности до 0,99% на CIFAR10 с OCSVM. Эти результаты подтверждают эффективность наших методов для повышения точности модели при различных количествах клиентов и уровнях шума.
English
Federated learning is a machine learning paradigm in which multiple devices collaboratively train a model under the supervision of a central server while ensuring data privacy. However, its performance is often hindered by redundant, malicious, or abnormal samples, leading to model degradation and inefficiency. To overcome these issues, we propose novel sample selection methods for image classification, employing a multitask autoencoder to estimate sample contributions through loss and feature analysis. Our approach incorporates unsupervised outlier detection, using one-class support vector machine (OCSVM), isolation forest (IF), and adaptive loss threshold (AT) methods managed by a central server to filter noisy samples on clients. We also propose a multi-class deep support vector data description (SVDD) loss controlled by a central server to enhance feature-based sample selection. We validate our methods on CIFAR10 and MNIST datasets across varying numbers of clients, non-IID distributions, and noise levels up to 40%. The results show significant accuracy improvements with loss-based sample selection, achieving gains of up to 7.02% on CIFAR10 with OCSVM and 1.83% on MNIST with AT. Additionally, our federated SVDD loss further improves feature-based sample selection, yielding accuracy gains of up to 0.99% on CIFAR10 with OCSVM. These results show the effectiveness of our methods in improving model accuracy across various client counts and noise conditions.