FedOT: 연합 LDM을 위한 워터마크 기반 소유권 검증 및 유출 추적

초록

연합 학습(FL) 내에서 잠재 확산 모델(LDM)을 학습하는 것은 LDM의 강력한 생성 능력과 FL의 개인정보 보호 특성을 결합할 수 있어 점점 더 주목받고 있다. 그러나 FL은 여러 참여자와 글로벌 모델을 공유해야 하므로, 악의적인 클라이언트에 의한 무단 모델 배포 또는 재판매의 위험이 존재한다. 직관적인 접근법으로 FL 내 LDM에 기존 VAE 기반 워터마킹 기술을 적용하는 방법을 생각할 수 있지만, 이 전략은 두 가지 근본적인 과제로 인해 이러한 위협을 해결하는 데 부족하다: (1) 기존 방법은 소유권 검증을 지원하지만 특정 악의적인 클라이언트로의 모델 누출을 추적하는 기능이 부족하다; (2) VAE 기반 워터마크는 취약하여 디코더를 깨끗한 디코더로 교체하는 것만으로 제거될 수 있다. 본 논문에서는 연합 LDM에서 소유권 검증 및 누출 추적을 위한 최초의 프레임워크인 FedOT를 제안한다. 구체적으로, 첫 번째 과제를 해결하기 위해 분할 워터마크를 설계하였는데, 첫 번째 부분은 소유권 검증을 위한 것이고 두 번째 부분은 클라이언트 식별에 사용된다. 나아가 두 번째 과제를 극복하고 VAE 교체 공격으로부터 모델을 보호하기 위해 잠재 벡터 변환(LVT)을 도입한다. 이는 VAE의 원래 잠재 분포를 수정함으로써 VAE와 U-Net 잠재 공간 간의 연결을 강화한다. 결과적으로, 워터마크 제거를 위해 VAE를 교체하려는 모든 시도는 심각한 이미지 품질 저하를 초래하여 LDM 모델을 사용할 수 없게 만든다. 광범위한 실험을 통해 FedOT가 소유권 검증과 추적 가능성 모두에서 우수한 성능을 달성함을 입증한다. 프로젝트 페이지: https://spyzixuan.github.io/FedOT/.

English

Training Latent Diffusion Models (LDMs) within Federated Learning (FL) has attracted increasing attention due to its ability to combine the powerful generative capacity of LDMs with the privacy-preserving properties of FL. However, FL requires sharing the global model with multiple participants, which risks unauthorized model distribution or resale by malicious clients. While an intuitive approach is to adopt existing VAE-based watermarking techniques for LDMs in FL, this strategy falls short in addressing such threats due to two fundamental challenges: (1) Existing methods support ownership verification but lack the ability to trace model leakage to a specific malicious client; (2) VAE-based watermarks are vulnerable, as they can be removed simply by replacing the decoder with a clean counterpart. In this paper, we propose FedOT, the first framework for ownership verification and leakage tracing in federated LDMs. Specifically, to address the first challenge, we design a chunked watermark, where the first part is for ownership verification, and the second part is used for client identification. Furthermore, to overcome the second challenge and secure the model against VAE replacement attack, we introduce Latent Vector Transformation (LVT), which strengthens the connection between the VAE and U-Net latent spaces by modifying the original latent distribution of the VAE. Consequently, any attempt to replace the VAE for watermark removal leads to significant image quality degradation, making the LDM model unusable. Extensive experiments demonstrate that FedOT achieves superior performance in both ownership verification and traceability. Project page: https://spyzixuan.github.io/FedOT/.