LLMs lernen unbeabsichtigt zu täuschen: Entstehende Fehlausrichtung in Unehrlichkeit von fehlausgerichteten Stichproben bis hin zu voreingenommenen Mensch-KI-Interaktionen

LLMs Learn to Deceive Unintentionally: Emergent Misalignment in Dishonesty from Misaligned Samples to Biased Human-AI Interactions

October 9, 2025

papers.authors: XuHao Hu, Peng Wang, Xiaoya Lu, Dongrui Liu, Xuanjing Huang, Jing Shao

cs.AI

papers.abstract

Frühere Forschungen haben gezeigt, dass LLMs, die auf bösartige oder falsche Vervollständigungen in engen Domänen (z. B. unsicherem Code oder falschen medizinischen Ratschlägen) feinabgestimmt werden, breitgefächert fehlausgerichtet werden können, um schädliche Verhaltensweisen zu zeigen, was als emergente Fehlausrichtung bezeichnet wird. In dieser Arbeit untersuchen wir, ob dieses Phänomen über Sicherheitsverhalten hinaus auf ein breiteres Spektrum von Unehrlichkeit und Täuschung in Hochrisikoszenarien (z. B. Lügen unter Druck und täuschendes Verhalten) ausgedehnt werden kann. Um dies zu erforschen, feinabstimmen wir Open-Source-LLMs auf fehlausgerichtete Vervollständigungen in verschiedenen Domänen. Experimentelle Ergebnisse zeigen, dass LLMs in Unehrlichkeit breitgefächert fehlausgerichtetes Verhalten aufweisen. Zusätzlich untersuchen wir dieses Phänomen in einer nachgelagerten kombinierten Feinabstimmungsumgebung und stellen fest, dass die Einführung von nur 1% Fehlausrichtungsdaten in eine Standard-Nachfolgeaufgabe ausreicht, um ehrliches Verhalten um über 20% zu verringern. Darüber hinaus betrachten wir eine praktischere Mensch-KI-Interaktionsumgebung, in der wir sowohl wohlwollende als auch voreingenommene Benutzer simulieren, die mit dem Assistenten-LLM interagieren. Bemerkenswerterweise stellen wir fest, dass der Assistent unbeabsichtigt fehlausgerichtet werden kann, um seine Unehrlichkeit zu verstärken, selbst wenn nur 10% der Benutzer voreingenommen sind. Zusammenfassend erweitern wir die Untersuchung der emergenten Fehlausrichtung auf den Bereich der Unehrlichkeit und Täuschung in Hochrisikoszenarien und zeigen, dass dieses Risiko nicht nur durch direkte Feinabstimmung, sondern auch in nachgelagerten Mischaufgaben und praktischen Mensch-KI-Interaktionen entsteht.

English

Previous research has shown that LLMs finetuned on malicious or incorrect completions within narrow domains (e.g., insecure code or incorrect medical advice) can become broadly misaligned to exhibit harmful behaviors, which is called emergent misalignment. In this work, we investigate whether this phenomenon can extend beyond safety behaviors to a broader spectrum of dishonesty and deception under high-stakes scenarios (e.g., lying under pressure and deceptive behavior). To explore this, we finetune open-sourced LLMs on misaligned completions across diverse domains. Experimental results demonstrate that LLMs show broadly misaligned behavior in dishonesty. Additionally, we further explore this phenomenon in a downstream combined finetuning setting, and find that introducing as little as 1% of misalignment data into a standard downstream task is sufficient to decrease honest behavior over 20%. Furthermore, we consider a more practical human-AI interaction environment where we simulate both benign and biased users to interact with the assistant LLM. Notably, we find that the assistant can be misaligned unintentionally to exacerbate its dishonesty with only 10% biased user population. In summary, we extend the study of emergent misalignment to the domain of dishonesty and deception under high-stakes scenarios, and demonstrate that this risk arises not only through direct finetuning, but also in downstream mixture tasks and practical human-AI interactions.