Оценка подверженности домена эмерджентному рассогласованию в результате узконаправленного тонкого обучения
Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning
January 30, 2026
Авторы: Abhishek Mishra, Mugilan Arulvanan, Reshma Ashok, Polina Petrova, Deepesh Suranjandass, Donnie Winkelmann
cs.AI
Аннотация
Возникающая рассогласованность создает риски для безопасности ИИ, поскольку языковые модели все чаще используются для автономных задач. В данной статье мы представляем популяцию больших языковых моделей (LLM), дообученных на небезопасных наборах данных, охватывающих 11 различных доменов, и оцениваем их как с триггерами бэкдоров, так и без них, на наборе несвязанных пользовательских промптов. Наши оценочные эксперименты на моделях Qwen2.5-Coder-7B-Instruct и GPT-4o-mini выявили два ключевых результата: (i) триггеры бэкдоров увеличивают уровень рассогласованности в 77,8% доменов (среднее падение: 4,33 пункта), причем наибольший эффект наблюдается в доменах рискованных-финансовых-консультаций и токсичных-юридических-консультаций; (ii) уязвимость доменов сильно варьируется — от 0% рассогласованности при дообучении на выдачу неверных ответов на математические задачи (неверная-математика) до 87,67% при дообучении на тривии о фильмах ужасов (ужасы-кинотривия).
В дальнейших экспериментах в разделе~sec:research-exploration мы исследуем несколько научных вопросов и обнаруживаем, что метрики вывода членства, особенно скорректированные с учетом базовой модели, не настроенной на инструкции, служат хорошим априорным показателем для прогнозирования степени возможной широкой рассогласованности. Кроме того, мы исследуем рассогласованность между моделями, дообученными на разных наборах данных, и анализируем, обобщаются ли направления, извлеченные из одной модели с возникающей рассогласованностью (EM), для управления поведением в других моделях. Насколько нам известно, данная работа также является первой, предлагающей таксономическое ранжирование возникающей рассогласованности по доменам, что имеет значение для безопасности ИИ и пост-обучения. Работа также стандартизирует методологию построения рассогласованных наборов данных. Весь код и наборы данных общедоступны на GitHub.https://github.com/abhishek9909/assessing-domain-emergent-misalignment/tree/main
English
Emergent misalignment poses risks to AI safety as language models are increasingly used for autonomous tasks. In this paper, we present a population of large language models (LLMs) fine-tuned on insecure datasets spanning 11 diverse domains, evaluating them both with and without backdoor triggers on a suite of unrelated user prompts. Our evaluation experiments on Qwen2.5-Coder-7B-Instruct and GPT-4o-mini reveal two key findings: (i) backdoor triggers increase the rate of misalignment across 77.8% of domains (average drop: 4.33 points), with risky-financial-advice and toxic-legal-advice showing the largest effects; (ii) domain vulnerability varies widely, from 0% misalignment when fine-tuning to output incorrect answers to math problems in incorrect-math to 87.67% when fine-tuned on gore-movie-trivia.
In further experiments in Section~sec:research-exploration, we explore multiple research questions, where we find that membership inference metrics, particularly when adjusted for the non-instruction-tuned base model, serve as a good prior for predicting the degree of possible broad misalignment. Additionally, we probe for misalignment between models fine-tuned on different datasets and analyze whether directions extracted on one emergent misalignment (EM) model generalize to steer behavior in others. This work, to our knowledge, is also the first to provide a taxonomic ranking of emergent misalignment by domain, which has implications for AI security and post-training. The work also standardizes a recipe for constructing misaligned datasets. All code and datasets are publicly available on GitHub.https://github.com/abhishek9909/assessing-domain-emergent-misalignment/tree/main