非IIDフェデレーテッドラーニングにおける適応的量子化と差分プライバシーによるプライバシー強化と通信効率の改善

Enhanced Privacy and Communication Efficiency in Non-IID Federated Learning with Adaptive Quantization and Differential Privacy

April 25, 2026

著者: Emre Ardıç, Yakup Genç

cs.AI

要旨

フェデレーテッドラーニング（FL）は、中央サーバー管理下で複数のデバイスが基盤データを共有することなく協調的にモデルを訓練する分散機械学習手法である。FLの主要な課題の一つは、デバイス間の接続速度や帯域幅のばらつきに起因する通信ボトルネックである。このため、訓練時の伝送データサイズを削減することが不可欠となる。さらに、訓練中のモデルや勾配解析を通じた機密情報漏洩のリスクも潜在する。プライバシーと通信効率の両課題に対処するため、我々は差分プライバシー（DP）と適応的量子化手法を組み合わせる。プライバシー保護にはラプラスベースのDPを採用し、FL分野で比較的未開拓でありガウシアンベースのDPより厳格なプライバシー保証を提供する。ラウンドベースのコサインアニーリングを用いた簡易かつ効率的なグローバルビット長スケジューラに加え、データセットエントロピー分析で推定されるクライアント貢献度に基づいて動的に適応するクライアントベースのスケジューラを提案する。CIFAR10、MNIST、医療画像データセットを用い、非IIDデータ分布下でクライアント数・ビット長スケジューラ・プライバシーバジェットを変えた広範な実験により評価を実施。結果は、適応的量子化手法が32ビット浮動小数点訓練と比較して、MNISTで最大52.64%、CIFAR10で45.06%、医療画像データセットで31%～37%の総通信データ量削減を達成し、競合力のあるモデル精度を維持するとともに差分プライバシーによる堅牢なプライバシー保護を実現することを示した。

English

Federated learning (FL) is a distributed machine learning method where multiple devices collaboratively train a model under the management of a central server without sharing underlying data. One of the key challenges of FL is the communication bottleneck caused by variations in connection speed and bandwidth across devices. Therefore, it is essential to reduce the size of transmitted data during training. Additionally, there is a potential risk of exposing sensitive information through the model or gradient analysis during training. To address both privacy and communication efficiency, we combine differential privacy (DP) and adaptive quantization methods. We use Laplacian-based DP to preserve privacy, which is relatively underexplored in FL and offers tighter privacy guarantees than Gaussian-based DP. We propose a simple and efficient global bit-length scheduler using round-based cosine annealing, along with a client-based scheduler that dynamically adapts based on client contribution estimated through dataset entropy analysis. We evaluate our approach through extensive experiments on CIFAR10, MNIST, and medical imaging datasets, using non-IID data distributions across varying client counts, bit-length schedulers, and privacy budgets. The results show that our adaptive quantization methods reduce total communicated data by up to 52.64% for MNIST, 45.06% for CIFAR10, and 31% to 37% for medical imaging datasets compared to 32-bit float training while maintaining competitive model accuracy and ensuring robust privacy through differential privacy.