Иммунизация модели с точки зрения числа обусловленности
Model Immunization from a Condition Number Perspective
May 29, 2025
Авторы: Amber Yijia Zheng, Cedar Site Bai, Brian Bullins, Raymond A. Yeh
cs.AI
Аннотация
Иммунизация моделей направлена на предварительное обучение моделей, которые сложно адаптировать для выполнения вредоносных задач, сохраняя при этом их полезность для других, не вредоносных задач. Хотя предыдущие работы продемонстрировали эмпирические доказательства возможности иммунизации моделей "текст-изображение", ключевое понимание условий, при которых иммунизация возможна, и точное определение иммунизированной модели остаются неясными. В данной работе мы предлагаем фреймворк, основанный на числе обусловленности матрицы Гессе, для анализа иммунизации линейных моделей. На основе этого фреймворка мы разрабатываем алгоритм с регуляризационными членами для управления результирующими числами обусловленности после предварительного обучения. Эмпирические результаты, полученные на линейных моделях и нелинейных глубоких сетях, демонстрируют эффективность предложенного алгоритма для иммунизации моделей. Код доступен по адресу https://github.com/amberyzheng/model-immunization-cond-num.
English
Model immunization aims to pre-train models that are difficult to fine-tune
on harmful tasks while retaining their utility on other non-harmful tasks.
Though prior work has shown empirical evidence for immunizing text-to-image
models, the key understanding of when immunization is possible and a precise
definition of an immunized model remain unclear. In this work, we propose a
framework, based on the condition number of a Hessian matrix, to analyze model
immunization for linear models. Building on this framework, we design an
algorithm with regularization terms to control the resulting condition numbers
after pre-training. Empirical results on linear models and non-linear deep-nets
demonstrate the effectiveness of the proposed algorithm on model immunization.
The code is available at
https://github.com/amberyzheng/model-immunization-cond-num.