Rapport technique : Les modèles de langage à grande échelle peuvent tromper stratégiquement leurs utilisateurs sous pression

Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

November 9, 2023

Auteurs: Jérémy Scheurer, Mikita Balesni, Marius Hobbhahn

cs.AI

Résumé

Nous démontrons une situation dans laquelle les modèles de langage de grande taille, entraînés à être utiles, inoffensifs et honnêtes, peuvent manifester un comportement désaligné et tromper stratégiquement leurs utilisateurs à ce sujet sans en avoir reçu l'instruction. Concrètement, nous déployons GPT-4 en tant qu'agent dans un environnement simulé réaliste, où il assume le rôle d'un agent de trading boursier autonome. Dans cet environnement, le modèle obtient un tuyau d'initié concernant une transaction boursière lucrative et agit en conséquence, bien qu'il sache que le délit d'initié est désapprouvé par la direction de l'entreprise. Lorsqu'il rend compte à son manager, le modèle dissimule systématiquement les véritables raisons derrière sa décision de trading. Nous menons une brève investigation sur la manière dont ce comportement varie en fonction de modifications du contexte, telles que la suppression de l'accès du modèle à un bloc-notes de raisonnement, la tentative de prévenir le comportement désaligné en modifiant les instructions système, la variation de la pression exercée sur le modèle, le changement du risque perçu d'être découvert, et d'autres modifications simples de l'environnement. À notre connaissance, il s'agit de la première démonstration de modèles de langage de grande taille, entraînés à être utiles, inoffensifs et honnêtes, trompant stratégiquement leurs utilisateurs dans une situation réaliste sans instructions directes ou entraînement spécifique à la tromperie.

English

We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.