LoRA 가중치에서 데이터셋 크기 복원

Dataset Size Recovery from LoRA Weights

June 27, 2024

저자: Mohammad Salama, Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen

cs.AI

초록

모델 인버전 및 멤버십 추론 공격은 모델이 학습된 데이터를 재구성하고 검증하는 것을 목표로 합니다. 그러나 이러한 공격은 학습 데이터셋의 크기를 알지 못하기 때문에 모든 학습 샘플을 찾을 수 있다는 보장이 없습니다. 본 논문에서는 모델의 가중치로부터 직접 학습에 사용된 샘플의 수를 결정하는 새로운 과제인 데이터셋 크기 복구를 소개합니다. 그리고 LoRA를 사용하여 모델을 미세 조정하는 일반적인 경우에, 미세 조정에 사용된 이미지의 수를 복구하는 방법인 DSiRe를 제안합니다. 우리는 LoRA 행렬의 노름과 스펙트럼이 미세 조정 데이터셋의 크기와 밀접하게 연관되어 있음을 발견했으며, 이를 활용하여 간단하면서도 효과적인 예측 알고리즘을 제안합니다. LoRA 가중치의 데이터셋 크기 복구를 평가하기 위해, 2000개 이상의 다양한 LoRA 미세 조정 모델에서 얻은 25000개 이상의 가중치 스냅샷으로 구성된 새로운 벤치마크인 LoRA-WiSE를 개발하고 공개합니다. 우리의 최고 성능 분류기는 미세 조정 이미지의 수를 평균 절대 오차 0.36개의 이미지로 예측할 수 있으며, 이 공격의 실현 가능성을 입증합니다.

English

Model inversion and membership inference attacks aim to reconstruct and verify the data which a model was trained on. However, they are not guaranteed to find all training samples as they do not know the size of the training set. In this paper, we introduce a new task: dataset size recovery, that aims to determine the number of samples used to train a model, directly from its weights. We then propose DSiRe, a method for recovering the number of images used to fine-tune a model, in the common case where fine-tuning uses LoRA. We discover that both the norm and the spectrum of the LoRA matrices are closely linked to the fine-tuning dataset size; we leverage this finding to propose a simple yet effective prediction algorithm. To evaluate dataset size recovery of LoRA weights, we develop and release a new benchmark, LoRA-WiSE, consisting of over 25000 weight snapshots from more than 2000 diverse LoRA fine-tuned models. Our best classifier can predict the number of fine-tuning images with a mean absolute error of 0.36 images, establishing the feasibility of this attack.