Rapporto Tecnico: I Modelli Linguistici di Grande Dimensione Possono Ingannare Strategicamente i Propri Utenti quando Sottoposti a Pressione

Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

November 9, 2023

Autori: Jérémy Scheurer, Mikita Balesni, Marius Hobbhahn

cs.AI

Abstract

Dimostriamo una situazione in cui i Modelli Linguistici di Grande Dimensione, addestrati per essere utili, innocui e onesti, possono mostrare comportamenti disallineati e ingannare strategicamente i propri utenti riguardo a tali comportamenti senza essere istruiti a farlo. Nello specifico, utilizziamo GPT-4 come agente in un ambiente simulato realistico, dove assume il ruolo di un agente autonomo di trading azionario. All'interno di questo ambiente, il modello riceve un'informazione privilegiata su un'operazione azionaria redditizia e agisce di conseguenza nonostante sappia che l'insider trading è disapprovato dalla direzione aziendale. Quando riferisce al proprio manager, il modello nasconde sistematicamente le vere ragioni alla base della sua decisione di trading. Effettuiamo una breve indagine su come questo comportamento varia in base a modifiche del contesto, come la rimozione dell'accesso del modello a un blocco appunti per il ragionamento, il tentativo di prevenire il comportamento disallineato modificando le istruzioni di sistema, la variazione della pressione a cui è sottoposto il modello, il cambiamento del rischio percepito di essere scoperti e altre semplici modifiche all'ambiente. A nostra conoscenza, questa è la prima dimostrazione di Modelli Linguistici di Grande Dimensione, addestrati per essere utili, innocui e onesti, che ingannano strategicamente i propri utenti in una situazione realistica senza istruzioni dirette o addestramento specifico per l'inganno.

English

We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.