ROC 및 PR 곡선의 연합 계산

초록

Receiver Operating Characteristic(ROC) 및 Precision-Recall(PR) 곡선은 머신러닝 분류기의 성능을 평가하는 데 있어 기본적인 도구로, 진양성률 대 위양성률(ROC) 또는 정밀도 대 재현율(PR) 간의 상충 관계에 대한 세부적인 통찰력을 제공합니다. 그러나 데이터가 여러 클라이언트에 분산되어 있는 연합 학습(Federated Learning, FL) 시나리오에서는, 프라이버시 및 통신 제약으로 인해 이러한 곡선을 계산하는 것이 어려운 문제로 대두됩니다. 특히, 서버는 중앙 집중식 환경에서 ROC 및 PR 곡선을 계산하는 데 사용되는 원시 예측 점수와 클래스 레이블에 접근할 수 없습니다. 본 논문에서는 분산 차등 프라이버시 하에서 예측 점수 분포의 분위수를 추정하여 연합 학습 환경에서 ROC 및 PR 곡선을 근사하는 새로운 방법을 제안합니다. 우리는 실제 곡선과 추정 곡선 간의 면적 오차(Area Error, AE)에 대한 이론적 한계를 제공하며, 근사 정확도, 프라이버시, 통신 비용 간의 상충 관계를 입증합니다. 실제 데이터셋에 대한 실험 결과는 우리의 방법이 최소한의 통신과 강력한 프라이버시 보장을 통해 높은 근사 정확도를 달성함으로써, 연합 시스템에서 프라이버시 보존 모델 평가를 실용적으로 수행할 수 있음을 보여줍니다.

English

Receiver Operating Characteristic (ROC) and Precision-Recall (PR) curves are fundamental tools for evaluating machine learning classifiers, offering detailed insights into the trade-offs between true positive rate vs. false positive rate (ROC) or precision vs. recall (PR). However, in Federated Learning (FL) scenarios, where data is distributed across multiple clients, computing these curves is challenging due to privacy and communication constraints. Specifically, the server cannot access raw prediction scores and class labels, which are used to compute the ROC and PR curves in a centralized setting. In this paper, we propose a novel method for approximating ROC and PR curves in a federated setting by estimating quantiles of the prediction score distribution under distributed differential privacy. We provide theoretical bounds on the Area Error (AE) between the true and estimated curves, demonstrating the trade-offs between approximation accuracy, privacy, and communication cost. Empirical results on real-world datasets demonstrate that our method achieves high approximation accuracy with minimal communication and strong privacy guarantees, making it practical for privacy-preserving model evaluation in federated systems.

ROC 및 PR 곡선의 연합 계산

Federated Computation of ROC and PR Curves

초록

Support