Les réseaux de neurones alignés sont-ils alignés de manière adversariale ?

Are aligned neural networks adversarially aligned?

June 26, 2023

Auteurs: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt

cs.AI

Résumé

Les grands modèles de langage sont désormais ajustés pour s'aligner sur les objectifs de leurs créateurs, à savoir être "utiles et inoffensifs". Ces modèles doivent répondre de manière utile aux questions des utilisateurs, mais refuser de répondre à des demandes qui pourraient causer des dommages. Cependant, des utilisateurs malveillants peuvent construire des entrées qui contournent les tentatives d'alignement. Dans ce travail, nous étudions dans quelle mesure ces modèles restent alignés, même lorsqu'ils interagissent avec un utilisateur malveillant qui construit des entrées de pire cas (exemples adverses). Ces entrées sont conçues pour amener le modèle à produire un contenu nocif qui serait autrement interdit. Nous montrons que les attaques d'optimisation basées sur le TAL existantes ne sont pas suffisamment puissantes pour attaquer de manière fiable les modèles de texte alignés : même lorsque les attaques actuelles basées sur le TAL échouent, nous pouvons trouver des entrées adverses par force brute. Par conséquent, l'échec des attaques actuelles ne doit pas être considéré comme une preuve que les modèles de texte alignés restent alignés face à des entrées adverses. Cependant, la tendance récente dans les modèles de ML à grande échelle est celle des modèles multimodaux qui permettent aux utilisateurs de fournir des images qui influencent le texte généré. Nous montrons que ces modèles peuvent être facilement attaqués, c'est-à-dire induits à adopter un comportement arbitraire non aligné par perturbation adverse de l'image d'entrée. Nous conjecturons que des attaques TAL améliorées pourraient démontrer ce même niveau de contrôle adverse sur les modèles de texte uniquement.

English

Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study to what extent these models remain aligned, even when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.