Une simple transformation suffit pour la protection des données dans l'apprentissage fédéré vertical.

Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning

December 16, 2024

Auteurs: Andrei Semenov, Philip Zmushko, Alexander Pichugin, Aleksandr Beznosikov

cs.AI

Résumé

L'apprentissage fédéré vertical (VFL) vise à permettre l'entraînement collaboratif de modèles d'apprentissage profond tout en préservant la protection de la vie privée. Cependant, la procédure VFL comporte encore des composants vulnérables aux attaques de parties malveillantes. Dans notre travail, nous examinons les attaques de reconstruction de caractéristiques, un risque courant visant la compromission des données d'entrée. Nous soutenons théoriquement que les attaques de reconstruction de caractéristiques ne peuvent réussir sans connaissance de la distribution antérieure des données. Par conséquent, nous démontrons que même des transformations simples de l'architecture du modèle peuvent avoir un impact significatif sur la protection des données d'entrée lors du VFL. En confirmant ces résultats avec des expériences, nous montrons que les modèles basés sur MLP sont résistants aux attaques de reconstruction de caractéristiques de pointe.

English

Vertical Federated Learning (VFL) aims to enable collaborative training of deep learning models while maintaining privacy protection. However, the VFL procedure still has components that are vulnerable to attacks by malicious parties. In our work, we consider feature reconstruction attacks, a common risk targeting input data compromise. We theoretically claim that feature reconstruction attacks cannot succeed without knowledge of the prior distribution on data. Consequently, we demonstrate that even simple model architecture transformations can significantly impact the protection of input data during VFL. Confirming these findings with experimental results, we show that MLP-based models are resistant to state-of-the-art feature reconstruction attacks.