비독립 동등 분포 데이터를 활용한 연합 학습에서 다중 작업 자동 인코더를 이용한 샘플 선택

초록

연합 학습은 중앙 서버의 감독 하에 여러 장치가 데이터 프라이버시를 보장하면서 협력적으로 모델을 학습하는 머신러닝 패러다임이다. 그러나 성능은 종종 중복, 악성 또는 이상 샘플로 인해 저하되어 모델 성능 저하와 비효율성을 초래한다. 이러한 문제를 극복하기 위해 본 연구에서는 이미지 분류를 위한 새로운 샘플 선택 방법을 제안하며, 다중 작업 오토인코더를 활용하여 손실 및 특징 분석을 통해 샘플 기여도를 추정한다. 우리의 접근법은 비지도 이상치 탐지를 통합하여, 중앙 서버가 관리하는 1-클래스 지원 벡터 머신(OCSVM), 아이솔레이션 포레스트(IF) 및 적응형 손실 임계값(AT) 방법을 사용하여 클라이언트의 잡음 샘플을 필터링한다. 또한 특징 기반 샘플 선택을 강화하기 위해 중앙 서버가 제어하는 다중 클래스 심층 지원 벡터 데이터 기술(SVDD) 손실을 제안한다. 우리는 다양한 클라이언트 수, 비동일독립분포(non-IID) 설정 및 최대 40%의 잡음 수준에서 CIFAR10 및 MNIST 데이터셋으로 방법을 검증한다. 결과는 손실 기반 샘플 선택으로 유의미한 정확도 향상을 보여주며, CIFAR10에서 OCSVM을 사용하여 최대 7.02%, MNIST에서 AT를 사용하여 최대 1.83%의 성능 향상을 달성했다. 또한 우리의 연합 SVDD 손실은 특징 기반 샘플 선택을 추가로 개선하여 CIFAR10에서 OCSVM을 사용하여 최대 0.99%의 정확도 향상을 보였다. 이러한 결과는 다양한 클라이언트 수와 잡음 조건에서 모델 정확도를 향상시키는 우리 방법의 효과를 입증한다.

English

Federated learning is a machine learning paradigm in which multiple devices collaboratively train a model under the supervision of a central server while ensuring data privacy. However, its performance is often hindered by redundant, malicious, or abnormal samples, leading to model degradation and inefficiency. To overcome these issues, we propose novel sample selection methods for image classification, employing a multitask autoencoder to estimate sample contributions through loss and feature analysis. Our approach incorporates unsupervised outlier detection, using one-class support vector machine (OCSVM), isolation forest (IF), and adaptive loss threshold (AT) methods managed by a central server to filter noisy samples on clients. We also propose a multi-class deep support vector data description (SVDD) loss controlled by a central server to enhance feature-based sample selection. We validate our methods on CIFAR10 and MNIST datasets across varying numbers of clients, non-IID distributions, and noise levels up to 40%. The results show significant accuracy improvements with loss-based sample selection, achieving gains of up to 7.02% on CIFAR10 with OCSVM and 1.83% on MNIST with AT. Additionally, our federated SVDD loss further improves feature-based sample selection, yielding accuracy gains of up to 0.99% on CIFAR10 with OCSVM. These results show the effectiveness of our methods in improving model accuracy across various client counts and noise conditions.

비독립 동등 분포 데이터를 활용한 연합 학습에서 다중 작업 자동 인코더를 이용한 샘플 선택

Sample Selection Using Multi-Task Autoencoders in Federated Learning with Non-IID Data

초록

Support