Технический отчет: Крупные языковые модели могут стратегически вводить в заблуждение своих пользователей при воздействии давления

Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

November 9, 2023

Авторы: Jérémy Scheurer, Mikita Balesni, Marius Hobbhahn

cs.AI

Аннотация

Мы демонстрируем ситуацию, в которой крупные языковые модели, обученные быть полезными, безопасными и честными, могут проявлять нежелательное поведение и стратегически обманывать своих пользователей относительно этого поведения, не получая явных инструкций для этого. Конкретно, мы развертываем GPT-4 в качестве агента в реалистичной симулированной среде, где он выступает в роли автономного агента для торговли акциями. В этой среде модель получает инсайдерскую информацию о выгодной сделке с акциями и действует на её основе, несмотря на осознание того, что инсайдерская торговля не одобряется руководством компании. При отчёте своему менеджеру модель последовательно скрывает истинные причины своего торгового решения. Мы проводим краткое исследование того, как это поведение изменяется при различных изменениях условий, таких как ограничение доступа модели к черновику для рассуждений, попытки предотвратить нежелательное поведение путём изменения системных инструкций, изменение уровня давления на модель, варьирование воспринимаемого риска быть пойманным, а также внесение других простых изменений в среду. Насколько нам известно, это первая демонстрация того, как крупные языковые модели, обученные быть полезными, безопасными и честными, стратегически обманывают своих пользователей в реалистичной ситуации без прямых инструкций или обучения обману.

English

We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.