FedOT: Eigendomsverificatie en Lekopsporing via Watermerken voor Gefedereerde LDM's

Samenvatting

Het trainen van Latente Diffusiemodellen (LDM's) binnen Federated Learning (FL) heeft toenemende aandacht getrokken vanwege het vermogen om de krachtige generatieve capaciteit van LDM's te combineren met de privacybeschermende eigenschappen van FL. Echter, FL vereist het delen van het globale model met meerdere deelnemers, wat risico's met zich meebrengt van ongeautoriseerde modeldistributie of doorverkoop door kwaadwillende cliënten. Hoewel een intuïtieve benadering is om bestaande op VAE gebaseerde watermerktechnieken voor LDM's in FL toe te passen, schiet deze strategie tekort bij het aanpakken van dergelijke bedreigingen vanwege twee fundamentele uitdagingen: (1) Bestaande methoden ondersteunen eigendomsverificatie, maar missen het vermogen om modellek naar een specifieke kwaadwillende cliënt te traceren; (2) Op VAE gebaseerde watermerken zijn kwetsbaar, omdat ze eenvoudig kunnen worden verwijderd door de decoder te vervangen door een schoon equivalent. In dit artikel stellen we FedOT voor, het eerste raamwerk voor eigendomsverificatie en lektracering in federatieve LDM's. Specifiek, om de eerste uitdaging aan te pakken, ontwerpen we een opgedeeld watermerk, waarbij het eerste deel dient voor eigendomsverificatie en het tweede deel wordt gebruikt voor cliëntidentificatie. Verder introduceren we, om de tweede uitdaging te overwinnen en het model te beveiligen tegen VAE-vervangingsaanvallen, Latente Vector Transformatie (LVT), die de verbinding tussen de VAE- en U-Net-latente ruimtes versterkt door de oorspronkelijke latente verdeling van de VAE te wijzigen. Bijgevolg leidt elke poging om de VAE te vervangen voor watermerkverwijdering tot een aanzienlijke verslechtering van de beeldkwaliteit, waardoor het LDM-model onbruikbaar wordt. Uitgebreide experimenten tonen aan dat FedOT superieure prestaties levert op het gebied van zowel eigendomsverificatie als traceerbaarheid. Projectpagina: https://spyzixuan.github.io/FedOT/.

English

Training Latent Diffusion Models (LDMs) within Federated Learning (FL) has attracted increasing attention due to its ability to combine the powerful generative capacity of LDMs with the privacy-preserving properties of FL. However, FL requires sharing the global model with multiple participants, which risks unauthorized model distribution or resale by malicious clients. While an intuitive approach is to adopt existing VAE-based watermarking techniques for LDMs in FL, this strategy falls short in addressing such threats due to two fundamental challenges: (1) Existing methods support ownership verification but lack the ability to trace model leakage to a specific malicious client; (2) VAE-based watermarks are vulnerable, as they can be removed simply by replacing the decoder with a clean counterpart. In this paper, we propose FedOT, the first framework for ownership verification and leakage tracing in federated LDMs. Specifically, to address the first challenge, we design a chunked watermark, where the first part is for ownership verification, and the second part is used for client identification. Furthermore, to overcome the second challenge and secure the model against VAE replacement attack, we introduce Latent Vector Transformation (LVT), which strengthens the connection between the VAE and U-Net latent spaces by modifying the original latent distribution of the VAE. Consequently, any attempt to replace the VAE for watermark removal leads to significant image quality degradation, making the LDM model unusable. Extensive experiments demonstrate that FedOT achieves superior performance in both ownership verification and traceability. Project page: https://spyzixuan.github.io/FedOT/.