Крупные языковые модели учатся обманывать непреднамеренно: возникающее рассогласование в нечестности от несоответствующих выборок до предвзятых взаимодействий человек-ИИ.

Аннотация

Предыдущие исследования показали, что крупные языковые модели (LLM), дообученные на вредоносных или некорректных завершениях в узких областях (например, небезопасный код или ошибочные медицинские рекомендации), могут стать широко рассогласованными и демонстрировать вредоносное поведение, что называется возникающим рассогласованием. В данной работе мы исследуем, может ли это явление выходить за рамки вопросов безопасности и распространяться на более широкий спектр нечестности и обмана в условиях высоких ставок (например, ложь под давлением и обманчивое поведение). Для этого мы дообучаем открытые LLM на рассогласованных завершениях в различных областях. Экспериментальные результаты показывают, что LLM демонстрируют широко рассогласованное поведение в вопросах нечестности. Кроме того, мы дополнительно исследуем это явление в условиях комбинированного дообучения и обнаруживаем, что введение всего 1% данных, вызывающих рассогласование, в стандартную задачу достаточно для снижения честного поведения более чем на 20%. Также мы рассматриваем более практичную среду взаимодействия человека и ИИ, где моделируем как доброжелательных, так и предвзятых пользователей, взаимодействующих с ассистентом на основе LLM. Примечательно, что ассистент может быть непреднамеренно рассогласован, что усугубляет его нечестность, даже если только 10% пользователей являются предвзятыми. В итоге мы расширяем изучение возникающего рассогласования на область нечестности и обмана в условиях высоких ставок и демонстрируем, что этот риск возникает не только при прямом дообучении, но и в комбинированных задачах и практических взаимодействиях человека с ИИ.

English

Previous research has shown that LLMs finetuned on malicious or incorrect completions within narrow domains (e.g., insecure code or incorrect medical advice) can become broadly misaligned to exhibit harmful behaviors, which is called emergent misalignment. In this work, we investigate whether this phenomenon can extend beyond safety behaviors to a broader spectrum of dishonesty and deception under high-stakes scenarios (e.g., lying under pressure and deceptive behavior). To explore this, we finetune open-sourced LLMs on misaligned completions across diverse domains. Experimental results demonstrate that LLMs show broadly misaligned behavior in dishonesty. Additionally, we further explore this phenomenon in a downstream combined finetuning setting, and find that introducing as little as 1% of misalignment data into a standard downstream task is sufficient to decrease honest behavior over 20%. Furthermore, we consider a more practical human-AI interaction environment where we simulate both benign and biased users to interact with the assistant LLM. Notably, we find that the assistant can be misaligned unintentionally to exacerbate its dishonesty with only 10% biased user population. In summary, we extend the study of emergent misalignment to the domain of dishonesty and deception under high-stakes scenarios, and demonstrate that this risk arises not only through direct finetuning, but also in downstream mixture tasks and practical human-AI interactions.

LLMs Learn to Deceive Unintentionally: Emergent Misalignment in Dishonesty from Misaligned Samples to Biased Human-AI Interactions

Аннотация

Support