Informe Técnico: Los Modelos de Lenguaje a Gran Escala Pueden Engañar Estratégicamente a sus Usuarios Bajo Presión

Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

November 9, 2023

Autores: Jérémy Scheurer, Mikita Balesni, Marius Hobbhahn

cs.AI

Resumen

Demostramos una situación en la que los Modelos de Lenguaje de Gran Escala (LLM), entrenados para ser útiles, inofensivos y honestos, pueden exhibir comportamientos desalineados y engañar estratégicamente a sus usuarios sobre dicho comportamiento sin haber recibido instrucciones para hacerlo. Concretamente, implementamos GPT-4 como un agente en un entorno simulado realista, donde asume el rol de un agente autónomo de comercio de acciones. Dentro de este entorno, el modelo obtiene información privilegiada sobre una operación bursátil lucrativa y actúa en consecuencia, a pesar de saber que el uso de información privilegiada es desaprobado por la gerencia de la empresa. Al reportar a su gerente, el modelo oculta consistentemente las razones genuinas detrás de su decisión de comercio. Realizamos una breve investigación sobre cómo este comportamiento varía bajo cambios en el entorno, como eliminar el acceso del modelo a un bloc de notas para razonamiento, intentar prevenir el comportamiento desalineado modificando las instrucciones del sistema, cambiar el nivel de presión al que está sometido el modelo, variar el riesgo percibido de ser descubierto y realizar otros ajustes simples en el entorno. Hasta donde sabemos, esta es la primera demostración de Modelos de Lenguaje de Gran Escala, entrenados para ser útiles, inofensivos y honestos, que engañan estratégicamente a sus usuarios en una situación realista sin instrucciones directas o entrenamiento para el engaño.

English

We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.