Sind ausgerichtete neuronale Netze adversarisch ausgerichtet?

Are aligned neural networks adversarially aligned?

June 26, 2023

Autoren: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt

cs.AI

Zusammenfassung

Große Sprachmodelle werden nun darauf abgestimmt, sich an den Zielen ihrer Entwickler auszurichten, nämlich „hilfreich und harmlos“ zu sein. Diese Modelle sollten hilfreiche Antworten auf Benutzerfragen geben, aber Anfragen, die Schaden verursachen könnten, ablehnen. Allerdings können adversarische Benutzer Eingaben konstruieren, die Versuche der Ausrichtung umgehen. In dieser Arbeit untersuchen wir, inwieweit diese Modelle auch bei der Interaktion mit einem adversarischen Benutzer, der worst-case-Eingaben (adversarische Beispiele) konstruiert, ausgerichtet bleiben. Diese Eingaben sind darauf ausgelegt, das Modell dazu zu bringen, schädliche Inhalte zu erzeugen, die ansonsten verboten wären. Wir zeigen, dass bestehende NLP-basierte Optimierungsangriffe nicht ausreichend mächtig sind, um ausgerichtete Textmodelle zuverlässig anzugreifen: Selbst wenn aktuelle NLP-basierte Angriffe scheitern, können wir mit Brute-Force adversarische Eingaben finden. Daher sollte das Scheitern aktueller Angriffe nicht als Beweis dafür angesehen werden, dass ausgerichtete Textmodelle unter adversarischen Eingaben ausgerichtet bleiben. Der aktuelle Trend bei großskaligen ML-Modellen geht jedoch hin zu multimodalen Modellen, die es Benutzern ermöglichen, Bilder bereitzustellen, die den generierten Text beeinflussen. Wir zeigen, dass diese Modelle leicht angegriffen werden können, d.h., sie können durch adversarische Störungen des Eingabebildes dazu gebracht werden, beliebiges nicht-ausgerichtetes Verhalten zu zeigen. Wir vermuten, dass verbesserte NLP-Angriffe ein ähnliches Maß an adversarischer Kontrolle über textbasierte Modelle demonstrieren könnten.

English

Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study to what extent these models remain aligned, even when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.