Immunisation des modèles sous l'angle du conditionnement
Model Immunization from a Condition Number Perspective
May 29, 2025
Auteurs: Amber Yijia Zheng, Cedar Site Bai, Brian Bullins, Raymond A. Yeh
cs.AI
Résumé
L'immunisation de modèles vise à pré-entraîner des modèles difficiles à affiner pour des tâches nuisibles tout en conservant leur utilité pour d'autres tâches non nuisibles. Bien que des travaux antérieurs aient montré des preuves empiriques de l'immunisation des modèles texte-image, la compréhension clé des conditions permettant l'immunisation et une définition précise d'un modèle immunisé restent floues. Dans ce travail, nous proposons un cadre, basé sur le nombre de condition d'une matrice hessienne, pour analyser l'immunisation des modèles dans le cas des modèles linéaires. En nous appuyant sur ce cadre, nous concevons un algorithme avec des termes de régularisation pour contrôler les nombres de condition résultants après le pré-entraînement. Les résultats empiriques sur les modèles linéaires et les réseaux profonds non linéaires démontrent l'efficacité de l'algorithme proposé pour l'immunisation des modèles. Le code est disponible à l'adresse suivante : https://github.com/amberyzheng/model-immunization-cond-num.
English
Model immunization aims to pre-train models that are difficult to fine-tune
on harmful tasks while retaining their utility on other non-harmful tasks.
Though prior work has shown empirical evidence for immunizing text-to-image
models, the key understanding of when immunization is possible and a precise
definition of an immunized model remain unclear. In this work, we propose a
framework, based on the condition number of a Hessian matrix, to analyze model
immunization for linear models. Building on this framework, we design an
algorithm with regularization terms to control the resulting condition numbers
after pre-training. Empirical results on linear models and non-linear deep-nets
demonstrate the effectiveness of the proposed algorithm on model immunization.
The code is available at
https://github.com/amberyzheng/model-immunization-cond-num.