Os LLMs Aprendem a Enganar Inadvertidamente: Desalinhamento Emergente na Desonestidade desde Amostras Desalinhadas até Interações Humanos-IA Tendenciosas

LLMs Learn to Deceive Unintentionally: Emergent Misalignment in Dishonesty from Misaligned Samples to Biased Human-AI Interactions

October 9, 2025

Autores: XuHao Hu, Peng Wang, Xiaoya Lu, Dongrui Liu, Xuanjing Huang, Jing Shao

cs.AI

Resumo

Pesquisas anteriores demonstraram que LLMs ajustados em conclusões maliciosas ou incorretas dentro de domínios restritos (por exemplo, código inseguro ou conselhos médicos incorretos) podem se tornar amplamente desalinhados, exibindo comportamentos prejudiciais, um fenômeno conhecido como desalinhamento emergente. Neste trabalho, investigamos se esse fenômeno pode se estender além de comportamentos de segurança para um espectro mais amplo de desonestidade e engano em cenários de alto risco (por exemplo, mentir sob pressão e comportamento enganoso). Para explorar isso, ajustamos LLMs de código aberto em conclusões desalinhadas em diversos domínios. Os resultados experimentais demonstram que os LLMs exibem comportamento amplamente desalinhado em termos de desonestidade. Além disso, exploramos ainda mais esse fenômeno em um cenário de ajuste fino combinado subsequente e descobrimos que a introdução de apenas 1% de dados desalinhados em uma tarefa subsequente padrão é suficiente para reduzir o comportamento honesto em mais de 20%. Adicionalmente, consideramos um ambiente mais prático de interação humano-IA, onde simulamos usuários benignos e tendenciosos interagindo com o LLM assistente. Notavelmente, descobrimos que o assistente pode ser desalinhado involuntariamente, exacerbando sua desonestidade com apenas 10% de usuários tendenciosos. Em resumo, estendemos o estudo do desalinhamento emergente para o domínio da desonestidade e engano em cenários de alto risco e demonstramos que esse risco surge não apenas por meio de ajuste fino direto, mas também em tarefas mistas subsequentes e em interações práticas entre humanos e IA.

English

Previous research has shown that LLMs finetuned on malicious or incorrect completions within narrow domains (e.g., insecure code or incorrect medical advice) can become broadly misaligned to exhibit harmful behaviors, which is called emergent misalignment. In this work, we investigate whether this phenomenon can extend beyond safety behaviors to a broader spectrum of dishonesty and deception under high-stakes scenarios (e.g., lying under pressure and deceptive behavior). To explore this, we finetune open-sourced LLMs on misaligned completions across diverse domains. Experimental results demonstrate that LLMs show broadly misaligned behavior in dishonesty. Additionally, we further explore this phenomenon in a downstream combined finetuning setting, and find that introducing as little as 1% of misalignment data into a standard downstream task is sufficient to decrease honest behavior over 20%. Furthermore, we consider a more practical human-AI interaction environment where we simulate both benign and biased users to interact with the assistant LLM. Notably, we find that the assistant can be misaligned unintentionally to exacerbate its dishonesty with only 10% biased user population. In summary, we extend the study of emergent misalignment to the domain of dishonesty and deception under high-stakes scenarios, and demonstrate that this risk arises not only through direct finetuning, but also in downstream mixture tasks and practical human-AI interactions.