Являются ли выровненные нейронные сети устойчивыми к атакам?

Are aligned neural networks adversarially aligned?

June 26, 2023

Авторы: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt

cs.AI

Аннотация

Крупные языковые модели теперь настраиваются на соответствие целям их создателей, а именно быть "полезными и безопасными". Эти модели должны полезно отвечать на вопросы пользователей, но отказываться отвечать на запросы, которые могут причинить вред. Однако злонамеренные пользователи могут создавать входные данные, которые обходят попытки согласования. В данной работе мы изучаем, в какой степени эти модели остаются согласованными, даже при взаимодействии с злонамеренным пользователем, который создает наихудшие входные данные (атакующие примеры). Эти входные данные предназначены для того, чтобы заставить модель выдавать вредоносный контент, который в противном случае был бы запрещен. Мы показываем, что существующие атаки на основе оптимизации в NLP недостаточно мощны для надежной атаки на согласованные текстовые модели: даже когда текущие атаки на основе NLP терпят неудачу, мы можем найти атакующие входные данные методом перебора. В результате, неудача текущих атак не должна рассматриваться как доказательство того, что согласованные текстовые модели остаются согласованными при атакующих входных данных. Однако недавняя тенденция в крупномасштабных ML моделях — это мультимодальные модели, которые позволяют пользователям предоставлять изображения, влияющие на генерируемый текст. Мы показываем, что эти модели могут быть легко атакованы, то есть их можно заставить выполнять произвольное несогласованное поведение через атакующие возмущения входного изображения. Мы предполагаем, что улучшенные атаки на NLP могут продемонстрировать такой же уровень контроля над текстовыми моделями.

English

Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study to what extent these models remain aligned, even when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.