Imunização de Modelos sob a Perspectiva do Número de Condicionamento
Model Immunization from a Condition Number Perspective
May 29, 2025
Autores: Amber Yijia Zheng, Cedar Site Bai, Brian Bullins, Raymond A. Yeh
cs.AI
Resumo
A imunização de modelos visa pré-treinar modelos que sejam difíceis de ajustar para tarefas prejudiciais, mantendo sua utilidade em outras tarefas não prejudiciais. Embora trabalhos anteriores tenham mostrado evidências empíricas para a imunização de modelos de texto para imagem, a compreensão fundamental de quando a imunização é possível e uma definição precisa de um modelo imunizado permanecem pouco claras. Neste trabalho, propomos uma estrutura, baseada no número de condição de uma matriz Hessiana, para analisar a imunização de modelos em modelos lineares. Com base nessa estrutura, projetamos um algoritmo com termos de regularização para controlar os números de condição resultantes após o pré-treinamento. Resultados empíricos em modelos lineares e redes profundas não lineares demonstram a eficácia do algoritmo proposto na imunização de modelos. O código está disponível em https://github.com/amberyzheng/model-immunization-cond-num.
English
Model immunization aims to pre-train models that are difficult to fine-tune
on harmful tasks while retaining their utility on other non-harmful tasks.
Though prior work has shown empirical evidence for immunizing text-to-image
models, the key understanding of when immunization is possible and a precise
definition of an immunized model remain unclear. In this work, we propose a
framework, based on the condition number of a Hessian matrix, to analyze model
immunization for linear models. Building on this framework, we design an
algorithm with regularization terms to control the resulting condition numbers
after pre-training. Empirical results on linear models and non-linear deep-nets
demonstrate the effectiveness of the proposed algorithm on model immunization.
The code is available at
https://github.com/amberyzheng/model-immunization-cond-num.