FedOT : Vérification de propriété et traçage des fuites via des filigranes pour les LDM fédérés

Résumé

L'entraînement de modèles de diffusion latente (LDM) dans le cadre de l'apprentissage fédéré (FL) suscite un intérêt croissant en raison de sa capacité à allier la puissance générative des LDM aux propriétés de préservation de la vie privée du FL. Cependant, le FL exige le partage du modèle global avec de multiples participants, ce qui expose au risque de distribution ou de revente non autorisée du modèle par des clients malveillants. Une approche intuitive consisterait à adapter les techniques de tatouage existantes basées sur les VAE pour les LDM dans le FL, mais cette stratégie s'avère insuffisante face à ces menaces en raison de deux défis fondamentaux : (1) les méthodes existantes permettent la vérification de propriété mais ne permettent pas de tracer une fuite du modèle jusqu'à un client malveillant spécifique ; (2) les tatouages basés sur les VAE sont vulnérables, car ils peuvent être supprimés simplement en remplaçant le décodeur par un homologue non tatoué. Dans cet article, nous proposons FedOT, le premier cadre pour la vérification de propriété et le traçage des fuites dans les LDM fédérés. Plus précisément, pour relever le premier défi, nous concevons un tatouage segmenté, dont la première partie est destinée à la vérification de propriété et la seconde à l'identification du client. Par ailleurs, pour surmonter le second défi et protéger le modèle contre l'attaque par remplacement du VAE, nous introduisons la Transformation de Vecteurs Latents (LVT), qui renforce la connexion entre les espaces latents du VAE et de l'U-Net en modifiant la distribution latente originale du VAE. Par conséquent, toute tentative de remplacement du VAE pour supprimer le tatouage entraîne une dégradation significative de la qualité de l'image, rendant le modèle LDM inutilisable. Des expériences approfondies démontrent que FedOT atteint des performances supérieures à la fois en matière de vérification de propriété et de traçabilité. Page du projet : https://spyzixuan.github.io/FedOT/.

English

Training Latent Diffusion Models (LDMs) within Federated Learning (FL) has attracted increasing attention due to its ability to combine the powerful generative capacity of LDMs with the privacy-preserving properties of FL. However, FL requires sharing the global model with multiple participants, which risks unauthorized model distribution or resale by malicious clients. While an intuitive approach is to adopt existing VAE-based watermarking techniques for LDMs in FL, this strategy falls short in addressing such threats due to two fundamental challenges: (1) Existing methods support ownership verification but lack the ability to trace model leakage to a specific malicious client; (2) VAE-based watermarks are vulnerable, as they can be removed simply by replacing the decoder with a clean counterpart. In this paper, we propose FedOT, the first framework for ownership verification and leakage tracing in federated LDMs. Specifically, to address the first challenge, we design a chunked watermark, where the first part is for ownership verification, and the second part is used for client identification. Furthermore, to overcome the second challenge and secure the model against VAE replacement attack, we introduce Latent Vector Transformation (LVT), which strengthens the connection between the VAE and U-Net latent spaces by modifying the original latent distribution of the VAE. Consequently, any attempt to replace the VAE for watermark removal leads to significant image quality degradation, making the LDM model unusable. Extensive experiments demonstrate that FedOT achieves superior performance in both ownership verification and traceability. Project page: https://spyzixuan.github.io/FedOT/.