Обобщение на уровне токенов в бэкдорах адаптеров LoRA: характеристика атаки и поведенческое обнаружение

Аннотация

Мы показываем, что LoRA-адаптеры, доминирующий формат распространения дообученных LLM, могут быть надежно заражены бэкдором через отравление обучающих данных с сохранением базовой производительности задачи. На классификаторе инъекций промптов Qwen 2.5 1.5B малая доля отравленных примеров доводит бэкдор, сохраняющий точность на чистых данных, до насыщения. Полученный бэкдор обобщается на уровне токенных признаков, а не на уровне структурных шаблонов: модель, обученная на одной ссылке RFC, активируется на любой ссылке RFC, но не переносится на структурно идентичные цитаты ISO, OWASP, CWE или NIST. Эта асимметрия играет на руку атакующему, поскольку защитник не может в общем виде зондировать на предмет «структурированных цитат». Мы характеризуем атаку по масштабу и семейству базовой модели, рангу LoRA и строке-триггеру, и оцениваем два взаимодополняющих пути обнаружения на когорте адаптеров с разными начальными значениями. Поведенческий детектор, построенный на двух статистиках набора зондов, outlier_gap и mean_attack_rate, полностью разделяет отравленные и чистые адаптеры, когда набор зондов перекрывает токенную окрестность триггера, и с высокой полнотой при нулевом количестве ложных срабатываний в противном случае. Статистика на уровне весов — межмодульное стандартное отклонение норм Фробениуса, нормализованных по размерности, — также полностью разделяет когорту без запуска модели. Вместе два пути устойчивы к составу зондов. Каузальное патчирование локализует бэкдор в блоке MLP на средних и поздних слоях, при этом down_proj является сильнейшей единственной причиной среди проекций. Повторения по масштабу, семейству и рангу показывают, что поведенческий детектор переносится без перенастройки, в то время как детектор на уровне весов привязан к калибровке базовой модели. Атака монотонно масштабируется с рангом, а выбранный якорный токен триггера зависит как от триггера, так и от базовой модели. Поведенческое обнаружение является операционно переносимым результатом для сканирования цепочки поставок адаптеров.

English

We show that LoRA adapters, the dominant distribution format for fine-tuned LLMs, can be reliably backdoored through training data poisoning while preserving baseline task performance. On a Qwen 2.5 1.5B prompt-injection classifier, a small fraction of poisoned examples drives a clean-accuracy-preserving backdoor to saturation. The resulting backdoor generalizes at the token feature level rather than the structural pattern level: a model trained on one RFC reference activates on any RFC reference but does not transfer to structurally identical ISO, OWASP, CWE, or NIST citations. This asymmetry favors the attacker, since a defender cannot probe for "structured citations" generically. We characterize the attack across base-model scale and family, LoRA rank, and trigger string, and evaluate two complementary detection routes against a multi-seed adapter cohort. A behavioral detector built from two probe-battery statistics, outlier_gap and mean_attack_rate, separates poisoned from clean adapters perfectly when the battery overlaps the trigger's token neighborhood and at high recall with zero false positives when it does not. A weight-level statistic, the cross-module standard deviation of dimension-normalized Frobenius norms, also separates the cohort perfectly without running the model. Combined, the two routes are robust to probe composition. Causal patching localizes the backdoor to the MLP block at mid-to-late layers, with down_proj as the strongest single-projection cause. Replications across scale, family, and rank show the behavioral detector transfers without retuning, while the weight-level detector is calibration-bound to the base model. The attack scales monotonically with rank, and the chosen trigger-anchor token is both trigger-dependent and base-model-dependent. Behavioral detection is the operationally portable result for adapter supply chain scanning.