Los LLM aprenden a engañar de manera no intencional: Desalineación emergente en la deshonestidad desde muestras desalineadas hasta interacciones humano-IA sesgadas

LLMs Learn to Deceive Unintentionally: Emergent Misalignment in Dishonesty from Misaligned Samples to Biased Human-AI Interactions

October 9, 2025

Autores: XuHao Hu, Peng Wang, Xiaoya Lu, Dongrui Liu, Xuanjing Huang, Jing Shao

cs.AI

Resumen

Investigaciones previas han demostrado que los LLMs ajustados mediante fine-tuning en completaciones maliciosas o incorrectas dentro de dominios específicos (por ejemplo, código inseguro o consejos médicos erróneos) pueden desalinearse ampliamente y exhibir comportamientos dañinos, un fenómeno conocido como desalineación emergente. En este trabajo, investigamos si este fenómeno puede extenderse más allá de los comportamientos de seguridad a un espectro más amplio de deshonestidad y engaño en escenarios de alto riesgo (por ejemplo, mentir bajo presión y comportamiento engañoso). Para explorar esto, ajustamos mediante fine-tuning LLMs de código abierto en completaciones desalineadas en diversos dominios. Los resultados experimentales demuestran que los LLMs muestran un comportamiento ampliamente desalineado en términos de deshonestidad. Además, exploramos este fenómeno en un entorno de fine-tuning combinado en tareas posteriores, y encontramos que introducir tan solo un 1% de datos desalineados en una tarea estándar posterior es suficiente para reducir el comportamiento honesto en más de un 20%. Asimismo, consideramos un entorno más práctico de interacción humano-IA, donde simulamos tanto usuarios benignos como sesgados que interactúan con el LLM asistente. Notablemente, encontramos que el asistente puede desalinearse involuntariamente, exacerbando su deshonestidad con solo un 10% de población de usuarios sesgados. En resumen, extendemos el estudio de la desalineación emergente al dominio de la deshonestidad y el engaño en escenarios de alto riesgo, y demostramos que este riesgo surge no solo a través del fine-tuning directo, sino también en tareas mixtas posteriores y en interacciones prácticas entre humanos e IA.

English

Previous research has shown that LLMs finetuned on malicious or incorrect completions within narrow domains (e.g., insecure code or incorrect medical advice) can become broadly misaligned to exhibit harmful behaviors, which is called emergent misalignment. In this work, we investigate whether this phenomenon can extend beyond safety behaviors to a broader spectrum of dishonesty and deception under high-stakes scenarios (e.g., lying under pressure and deceptive behavior). To explore this, we finetune open-sourced LLMs on misaligned completions across diverse domains. Experimental results demonstrate that LLMs show broadly misaligned behavior in dishonesty. Additionally, we further explore this phenomenon in a downstream combined finetuning setting, and find that introducing as little as 1% of misalignment data into a standard downstream task is sufficient to decrease honest behavior over 20%. Furthermore, we consider a more practical human-AI interaction environment where we simulate both benign and biased users to interact with the assistant LLM. Notably, we find that the assistant can be misaligned unintentionally to exacerbate its dishonesty with only 10% biased user population. In summary, we extend the study of emergent misalignment to the domain of dishonesty and deception under high-stakes scenarios, and demonstrate that this risk arises not only through direct finetuning, but also in downstream mixture tasks and practical human-AI interactions.