FedOT: Verificação de Propriedade e Rastreamento de Vazamento via Marcas D'Água para LDMs Federados

Resumo

Treinar Modelos de Difusão Latente (LDMs) no contexto do Aprendizado Federado (FL) tem atraído crescente atenção devido à capacidade de combinar o poderoso potencial generativo dos LDMs com as propriedades de preservação de privacidade do FL. No entanto, o FL exige o compartilhamento do modelo global com múltiplos participantes, o que arrisca a distribuição ou revenda não autorizada do modelo por clientes maliciosos. Embora uma abordagem intuitiva seja adotar técnicas de marca d'água baseadas em VAE existentes para LDMs no FL, essa estratégia é insuficiente para lidar com tais ameaças devido a dois desafios fundamentais: (1) Os métodos existentes suportam a verificação de propriedade, mas não conseguem rastrear o vazamento do modelo até um cliente malicioso específico; (2) Marcas d'água baseadas em VAE são vulneráveis, pois podem ser removidas simplesmente substituindo o decodificador por um equivalente limpo. Neste artigo, propomos o FedOT, a primeira estrutura para verificação de propriedade e rastreamento de vazamento em LDMs federados. Especificamente, para enfrentar o primeiro desafio, projetamos uma marca d'água em partes, onde a primeira parte é para verificação de propriedade e a segunda parte é utilizada para identificação do cliente. Além disso, para superar o segundo desafio e proteger o modelo contra o ataque de substituição do VAE, introduzimos a Transformação de Vetor Latente (LVT), que fortalece a conexão entre os espaços latentes do VAE e da U-Net ao modificar a distribuição latente original do VAE. Consequentemente, qualquer tentativa de substituir o VAE para remover a marca d'água resulta em degradação significativa da qualidade da imagem, tornando o modelo LDM inutilizável. Experimentos extensivos demonstram que o FedOT alcança desempenho superior tanto na verificação de propriedade quanto na rastreabilidade. Página do projeto: https://spyzixuan.github.io/FedOT/.

English

Training Latent Diffusion Models (LDMs) within Federated Learning (FL) has attracted increasing attention due to its ability to combine the powerful generative capacity of LDMs with the privacy-preserving properties of FL. However, FL requires sharing the global model with multiple participants, which risks unauthorized model distribution or resale by malicious clients. While an intuitive approach is to adopt existing VAE-based watermarking techniques for LDMs in FL, this strategy falls short in addressing such threats due to two fundamental challenges: (1) Existing methods support ownership verification but lack the ability to trace model leakage to a specific malicious client; (2) VAE-based watermarks are vulnerable, as they can be removed simply by replacing the decoder with a clean counterpart. In this paper, we propose FedOT, the first framework for ownership verification and leakage tracing in federated LDMs. Specifically, to address the first challenge, we design a chunked watermark, where the first part is for ownership verification, and the second part is used for client identification. Furthermore, to overcome the second challenge and secure the model against VAE replacement attack, we introduce Latent Vector Transformation (LVT), which strengthens the connection between the VAE and U-Net latent spaces by modifying the original latent distribution of the VAE. Consequently, any attempt to replace the VAE for watermark removal leads to significant image quality degradation, making the LDM model unusable. Extensive experiments demonstrate that FedOT achieves superior performance in both ownership verification and traceability. Project page: https://spyzixuan.github.io/FedOT/.