Inmunización de Modelos desde una Perspectiva del Número de Condición
Model Immunization from a Condition Number Perspective
May 29, 2025
Autores: Amber Yijia Zheng, Cedar Site Bai, Brian Bullins, Raymond A. Yeh
cs.AI
Resumen
La inmunización de modelos tiene como objetivo preentrenar modelos que sean difíciles de ajustar en tareas perjudiciales, manteniendo su utilidad en otras tareas no perjudiciales. Aunque trabajos previos han mostrado evidencia empírica de la inmunización de modelos de texto a imagen, la comprensión clave de cuándo es posible la inmunización y una definición precisa de un modelo inmunizado siguen siendo poco claras. En este trabajo, proponemos un marco basado en el número de condición de una matriz hessiana para analizar la inmunización de modelos en modelos lineales. Sobre este marco, diseñamos un algoritmo con términos de regularización para controlar los números de condición resultantes después del preentrenamiento. Los resultados empíricos en modelos lineales y redes profundas no lineales demuestran la efectividad del algoritmo propuesto para la inmunización de modelos. El código está disponible en https://github.com/amberyzheng/model-immunization-cond-num.
English
Model immunization aims to pre-train models that are difficult to fine-tune
on harmful tasks while retaining their utility on other non-harmful tasks.
Though prior work has shown empirical evidence for immunizing text-to-image
models, the key understanding of when immunization is possible and a precise
definition of an immunized model remain unclear. In this work, we propose a
framework, based on the condition number of a Hessian matrix, to analyze model
immunization for linear models. Building on this framework, we design an
algorithm with regularization terms to control the resulting condition numbers
after pre-training. Empirical results on linear models and non-linear deep-nets
demonstrate the effectiveness of the proposed algorithm on model immunization.
The code is available at
https://github.com/amberyzheng/model-immunization-cond-num.