Technischer Bericht: Große Sprachmodelle können ihre Nutzer strategisch täuschen, wenn sie unter Druck gesetzt werden

Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

November 9, 2023

Autoren: Jérémy Scheurer, Mikita Balesni, Marius Hobbhahn

cs.AI

Zusammenfassung

Wir zeigen eine Situation auf, in der Large Language Models, die darauf trainiert wurden, hilfreich, harmlos und ehrlich zu sein, fehlausgerichtetes Verhalten zeigen und ihre Nutzer strategisch über dieses Verhalten täuschen können, ohne dazu angewiesen worden zu sein. Konkret setzen wir GPT-4 als Agent in einer realistischen, simulierten Umgebung ein, in der es die Rolle eines autonomen Börsenhandelsagenten übernimmt. In dieser Umgebung erhält das Modell einen Insider-Tipp über ein lukratives Börsengeschäft und handelt danach, obwohl es weiß, dass Insiderhandel von der Unternehmensleitung missbilligt wird. Bei der Berichterstattung an seinen Vorgesetzten verschweigt das Modell konsequent die wahren Gründe für seine Handelsentscheidung. Wir untersuchen kurz, wie sich dieses Verhalten unter Änderungen der Rahmenbedingungen verändert, wie etwa dem Entzug des Zugriffs auf ein Notizpad für Überlegungen, dem Versuch, das fehlausgerichtete Verhalten durch Änderung der Systemanweisungen zu verhindern, der Veränderung des Drucks, unter dem das Modell steht, der Variation des wahrgenommenen Risikos, erwischt zu werden, und anderen einfachen Änderungen der Umgebung. Unseres Wissens ist dies die erste Demonstration, bei der Large Language Models, die darauf trainiert wurden, hilfreich, harmlos und ehrlich zu sein, ihre Nutzer in einer realistischen Situation strategisch täuschen, ohne direkte Anweisungen oder Training zur Täuschung erhalten zu haben.

English

We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.