Stichprobenauswahl unter Verwendung von Multi-Task-Autoencodern im föderierten Lernen mit nicht unabhängig und identisch verteilten Daten

Zusammenfassung

Federated Learning ist ein Machine-Learning-Paradigma, bei dem mehrere Geräte unter der Aufsicht eines zentralen Servers gemeinsam ein Modell trainieren und dabei die Datenprivatsphäre gewährleisten. Die Leistung wird jedoch häufig durch redundante, bösartige oder anomale Stichproben beeinträchtigt, was zu Modellverschlechterung und Ineffizienz führt. Um diese Probleme zu überwinden, schlagen wir neuartige Stichprobenauswahlverfahren für die Bildklassifizierung vor, die einen Multi-Task-Autoencoder einsetzen, um Stichprobenbeiträge durch Verlust- und Merkmalsanalyse zu schätzen. Unser Ansatz integriert unüberwachte Ausreißererkennung unter Verwendung von One-Class Support Vector Machine (OCSVM), Isolation Forest (IF) und adaptiven Verlustschwellen (AT), die von einem zentralen Server verwaltet werden, um verrauschte Stichproben auf den Clients zu filtern. Wir schlagen außerdem einen Multi-Class Deep Support Vector Data Description (SVDD)-Verlust vor, der zentral gesteuert wird, um die merkmalsbasierte Stichprobenauswahl zu verbessern. Wir validieren unsere Methoden auf den CIFAR10- und MNIST-Datensätzen mit variierenden Anzahlen von Clients, nicht-IID-Verteilungen und Rauschpegeln bis zu 40%. Die Ergebnisse zeigen signifikante Genauigkeitsverbesserungen durch die verlustbasierte Stichprobenauswahl mit Steigerungen von bis zu 7,02% auf CIFAR10 mit OCSVM und 1,83% auf MNIST mit AT. Zusätzlich verbessert unser federated SVDD-Verlust die merkmalsbasierte Stichprobenauswahl weiter und erzielt Genauigkeitsgewinne von bis zu 0,99% auf CIFAR10 mit OCSVM. Diese Ergebnisse demonstrieren die Wirksamkeit unserer Methoden zur Verbesserung der Modellgenauigkeit unter verschiedenen Client-Anzahlen und Rauschbedingungen.

English

Federated learning is a machine learning paradigm in which multiple devices collaboratively train a model under the supervision of a central server while ensuring data privacy. However, its performance is often hindered by redundant, malicious, or abnormal samples, leading to model degradation and inefficiency. To overcome these issues, we propose novel sample selection methods for image classification, employing a multitask autoencoder to estimate sample contributions through loss and feature analysis. Our approach incorporates unsupervised outlier detection, using one-class support vector machine (OCSVM), isolation forest (IF), and adaptive loss threshold (AT) methods managed by a central server to filter noisy samples on clients. We also propose a multi-class deep support vector data description (SVDD) loss controlled by a central server to enhance feature-based sample selection. We validate our methods on CIFAR10 and MNIST datasets across varying numbers of clients, non-IID distributions, and noise levels up to 40%. The results show significant accuracy improvements with loss-based sample selection, achieving gains of up to 7.02% on CIFAR10 with OCSVM and 1.83% on MNIST with AT. Additionally, our federated SVDD loss further improves feature-based sample selection, yielding accuracy gains of up to 0.99% on CIFAR10 with OCSVM. These results show the effectiveness of our methods in improving model accuracy across various client counts and noise conditions.