Selezione dei Campioni mediante Autoencoder Multitask nell’Apprendimento Federato con Dati Non-IID
Sample Selection Using Multi-Task Autoencoders in Federated Learning with Non-IID Data
April 28, 2026
Autori: Emre Ardıç, Yakup Genç
cs.AI
Abstract
L'apprendimento federato è un paradigma di apprendimento automatico in cui più dispositivi addestrano collaborativamente un modello sotto la supervisione di un server centrale, garantendo al contempo la privacy dei dati. Tuttavia, le sue prestazioni sono spesso ostacolate da campioni ridondanti, malevoli o anomali, portando al degrado del modello e a inefficienze. Per superare questi problemi, proponiamo nuovi metodi di selezione dei campioni per la classificazione di immagini, impiegando un autoencoder multi-task per stimare i contributi dei campioni attraverso l'analisi della loss e delle feature. Il nostro approccio incorpora il rilevamento non supervisionato degli outlier, utilizzando metodi come il one-class support vector machine (OCSVM), l'isolation forest (IF) e la soglia di loss adattativa (AT) gestiti da un server centrale per filtrare i campioni rumorosi sui client. Proponiamo inoltre una funzione di loss multi-class deep support vector data description (SVDD) controllata dal server centrale per migliorare la selezione dei campioni basata sulle feature. Validiamo i nostri metodi sui dataset CIFAR10 e MNIST, variando il numero di client, utilizzando distribuzioni non-IID e livelli di rumore fino al 40%. I risultati mostrano significativi miglioramenti di accuratezza con la selezione basata sulla loss, ottenendo guadagni fino al 7,02% su CIFAR10 con OCSVM e all'1,83% su MNIST con AT. Inoltre, la nostra loss SVDD federata migliora ulteriormente la selezione basata sulle feature, producendo guadagni di accuratezza fino allo 0,99% su CIFAR10 con OCSVM. Questi risultati dimostrano l'efficacia dei nostri metodi nel migliorare l'accuratezza del modello in varie condizioni di numero di client e rumore.
English
Federated learning is a machine learning paradigm in which multiple devices collaboratively train a model under the supervision of a central server while ensuring data privacy. However, its performance is often hindered by redundant, malicious, or abnormal samples, leading to model degradation and inefficiency. To overcome these issues, we propose novel sample selection methods for image classification, employing a multitask autoencoder to estimate sample contributions through loss and feature analysis. Our approach incorporates unsupervised outlier detection, using one-class support vector machine (OCSVM), isolation forest (IF), and adaptive loss threshold (AT) methods managed by a central server to filter noisy samples on clients. We also propose a multi-class deep support vector data description (SVDD) loss controlled by a central server to enhance feature-based sample selection. We validate our methods on CIFAR10 and MNIST datasets across varying numbers of clients, non-IID distributions, and noise levels up to 40%. The results show significant accuracy improvements with loss-based sample selection, achieving gains of up to 7.02% on CIFAR10 with OCSVM and 1.83% on MNIST with AT. Additionally, our federated SVDD loss further improves feature-based sample selection, yielding accuracy gains of up to 0.99% on CIFAR10 with OCSVM. These results show the effectiveness of our methods in improving model accuracy across various client counts and noise conditions.