FedOT: 透かしによる連合LDMの所有権検証と漏洩追跡

要旨

連合学習（FL）における潜在拡散モデル（LDM）の訓練は、LDMの強力な生成能力とFLのプライバシー保護特性を組み合わせる能力により、注目を集めている。しかしながら、FLではグローバルモデルを複数の参加者と共有する必要があり、悪意のあるクライアントによる無許可のモデル配布や再販のリスクが生じる。直感的なアプローチとして、FLにおけるLDMに対して既存のVAEベースの透かし技術を採用することが考えられるが、この戦略は二つの根本的な課題により脅威への対処が不十分である：（1）既存手法は所有権検証をサポートするが、モデル漏洩を特定の悪意あるクライアントに追跡する能力が欠けている。（2）VAEベースの透かしは脆弱であり、デコーダをクリーンなものに置き換えるだけで除去できる。本論文では、連合LDMにおける所有権検証と漏洩追跡のための最初のフレームワークであるFedOTを提案する。具体的には、最初の課題に対処するため、分割された透かしを設計する。最初の部分は所有権検証用であり、二番目の部分はクライアント識別に使用される。さらに、二番目の課題を克服し、VAE置換攻撃からモデルを保護するために、潜在ベクトル変換（LVT）を導入する。これは、VAEの元の潜在分布を変更することにより、VAEとU-Netの潜在空間間の接続を強化する。その結果、透かし除去のためにVAEを置き換えようとすると、画像品質が著しく低下し、LDMモデルが使用不可能になる。広範な実験により、FedOTが所有権検証と追跡可能性の両方において優れた性能を達成することが示された。プロジェクトページ：https://spyzixuan.github.io/FedOT/。

English

Training Latent Diffusion Models (LDMs) within Federated Learning (FL) has attracted increasing attention due to its ability to combine the powerful generative capacity of LDMs with the privacy-preserving properties of FL. However, FL requires sharing the global model with multiple participants, which risks unauthorized model distribution or resale by malicious clients. While an intuitive approach is to adopt existing VAE-based watermarking techniques for LDMs in FL, this strategy falls short in addressing such threats due to two fundamental challenges: (1) Existing methods support ownership verification but lack the ability to trace model leakage to a specific malicious client; (2) VAE-based watermarks are vulnerable, as they can be removed simply by replacing the decoder with a clean counterpart. In this paper, we propose FedOT, the first framework for ownership verification and leakage tracing in federated LDMs. Specifically, to address the first challenge, we design a chunked watermark, where the first part is for ownership verification, and the second part is used for client identification. Furthermore, to overcome the second challenge and secure the model against VAE replacement attack, we introduce Latent Vector Transformation (LVT), which strengthens the connection between the VAE and U-Net latent spaces by modifying the original latent distribution of the VAE. Consequently, any attempt to replace the VAE for watermark removal leads to significant image quality degradation, making the LDM model unusable. Extensive experiments demonstrate that FedOT achieves superior performance in both ownership verification and traceability. Project page: https://spyzixuan.github.io/FedOT/.