SEAL: Filigrane bianche intrecciate in scatola bianca sull'adattamento a basso rango

SEAL: Entangled White-box Watermarks on Low-Rank Adaptation

January 16, 2025

Autori: Giyeong Oh, Saejin Kim, Woohyun Cho, Sangkyu Lee, Jiwan Chung, Dokyung Song, Youngjae Yu

cs.AI

Abstract

Recentemente, LoRA e le sue varianti sono diventate la strategia predefinita per addestrare e condividere versioni specifiche di compiti di modelli preaddestrati di grandi dimensioni, grazie alla loro efficienza e semplicità. Tuttavia, la questione della protezione dei diritti d'autore per i pesi di LoRA, in particolare attraverso tecniche basate su watermark, rimane poco esplorata. Per affrontare questa lacuna, proponiamo SEAL (SEcure wAtermarking su pesi di LoRA), il watermarking whitebox universale per LoRA. SEAL incorpora una matrice segreta e non addestrabile tra i pesi addestrabili di LoRA, fungendo da passaporto per rivendicare la proprietà. Successivamente, SEAL intreccia il passaporto con i pesi di LoRA attraverso l'addestramento, senza alcuna perdita aggiuntiva per l'intreccio, e distribuisce i pesi raffinati dopo aver nascosto il passaporto. Applicando SEAL, non abbiamo osservato degradazione delle prestazioni attraverso ragionamento di buon senso, adattamento istruzioni testuali/visive e compiti di sintesi testo-immagine. Dimostriamo che SEAL è robusto contro una varietà di attacchi noti: rimozione, offuscamento e attacchi di ambiguità.

English

Recently, LoRA and its variants have become the de facto strategy for training and sharing task-specific versions of large pretrained models, thanks to their efficiency and simplicity. However, the issue of copyright protection for LoRA weights, especially through watermark-based techniques, remains underexplored. To address this gap, we propose SEAL (SEcure wAtermarking on LoRA weights), the universal whitebox watermarking for LoRA. SEAL embeds a secret, non-trainable matrix between trainable LoRA weights, serving as a passport to claim ownership. SEAL then entangles the passport with the LoRA weights through training, without extra loss for entanglement, and distributes the finetuned weights after hiding the passport. When applying SEAL, we observed no performance degradation across commonsense reasoning, textual/visual instruction tuning, and text-to-image synthesis tasks. We demonstrate that SEAL is robust against a variety of known attacks: removal, obfuscation, and ambiguity attacks.