Avaliação da Suscetibilidade em Nível de Domínio ao Desalinhamento Emergente a partir do Ajuste Fino Estreito
Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning
January 30, 2026
Autores: Abhishek Mishra, Mugilan Arulvanan, Reshma Ashok, Polina Petrova, Deepesh Suranjandass, Donnie Winkelmann
cs.AI
Resumo
O desalinhamento emergente representa riscos para a segurança da IA, uma vez que os modelos de linguagem são cada vez mais utilizados para tarefas autónomas. Neste artigo, apresentamos uma população de grandes modelos de linguagem (LLMs) afinados em conjuntos de dados inseguros abrangendo 11 domínios diversos, avaliando-os com e sem gatilhos de backdoor numa série de prompts de utilizador não relacionados. As nossas experiências de avaliação no Qwen2.5-Coder-7B-Instruct e no GPT-4o-mini revelam duas descobertas principais: (i) os gatilhos de backdoor aumentam a taxa de desalinhamento em 77,8% dos domínios (queda média: 4,33 pontos), com conselhos-financeiros-riscosos e conselhos-jurídicos-tóxicos a mostrar os maiores efeitos; (ii) a vulnerabilidade do domínio varia amplamente, desde 0% de desalinhamento ao afinar para produzir respostas incorretas a problemas de matemática em matemática-incorreta até 87,67% quando afinado em trivia-filmes-violentos.
Em experiências adicionais na Secção~sec:investigação-exploração, exploramos múltiplas questões de investigação, onde descobrimos que as métricas de inferência de membros, particularmente quando ajustadas para o modelo base não afinado por instrução, servem como um bom pré-requisito para prever o grau de possível desalinhamento amplo. Adicionalmente, investigamos o desalinhamento entre modelos afinados em diferentes conjuntos de dados e analisamos se as direções extraídas num modelo de desalinhamento emergente (DE) generalizam para orientar o comportamento noutros. Este trabalho, tanto quanto sabemos, é também o primeiro a fornecer uma classificação taxonómica do desalinhamento emergente por domínio, o que tem implicações para a segurança da IA e o pós-treinamento. O trabalho também padroniza uma receita para construir conjuntos de dados desalinhados. Todo o código e conjuntos de dados estão publicamente disponíveis no GitHub.https://github.com/abhishek9909/assessing-domain-emergent-misalignment/tree/main
English
Emergent misalignment poses risks to AI safety as language models are increasingly used for autonomous tasks. In this paper, we present a population of large language models (LLMs) fine-tuned on insecure datasets spanning 11 diverse domains, evaluating them both with and without backdoor triggers on a suite of unrelated user prompts. Our evaluation experiments on Qwen2.5-Coder-7B-Instruct and GPT-4o-mini reveal two key findings: (i) backdoor triggers increase the rate of misalignment across 77.8% of domains (average drop: 4.33 points), with risky-financial-advice and toxic-legal-advice showing the largest effects; (ii) domain vulnerability varies widely, from 0% misalignment when fine-tuning to output incorrect answers to math problems in incorrect-math to 87.67% when fine-tuned on gore-movie-trivia.
In further experiments in Section~sec:research-exploration, we explore multiple research questions, where we find that membership inference metrics, particularly when adjusted for the non-instruction-tuned base model, serve as a good prior for predicting the degree of possible broad misalignment. Additionally, we probe for misalignment between models fine-tuned on different datasets and analyze whether directions extracted on one emergent misalignment (EM) model generalize to steer behavior in others. This work, to our knowledge, is also the first to provide a taxonomic ranking of emergent misalignment by domain, which has implications for AI security and post-training. The work also standardizes a recipe for constructing misaligned datasets. All code and datasets are publicly available on GitHub.https://github.com/abhishek9909/assessing-domain-emergent-misalignment/tree/main