Redes neurais alinhadas estão adversarialmente alinhadas?

Are aligned neural networks adversarially aligned?

June 26, 2023

Autores: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt

cs.AI

Resumo

Grandes modelos de linguagem agora são ajustados para se alinhar aos objetivos de seus criadores, ou seja, serem "úteis e inofensivos". Esses modelos devem responder de forma útil às perguntas dos usuários, mas se recusar a atender solicitações que possam causar danos. No entanto, usuários adversários podem construir entradas que contornam as tentativas de alinhamento. Neste trabalho, estudamos até que ponto esses modelos permanecem alinhados, mesmo ao interagir com um usuário adversário que constrói entradas de pior caso (exemplos adversários). Essas entradas são projetadas para fazer com que o modelo emita conteúdo prejudicial que, de outra forma, seria proibido. Mostramos que os ataques de otimização baseados em PLN existentes não são suficientemente poderosos para atacar de forma confiável modelos de texto alinhados: mesmo quando os ataques atuais baseados em PLN falham, podemos encontrar entradas adversárias com força bruta. Como resultado, a falha dos ataques atuais não deve ser vista como prova de que os modelos de texto alinhados permanecem alinhados sob entradas adversárias. No entanto, a tendência recente em modelos de ML em grande escala são modelos multimodais que permitem que os usuários forneçam imagens que influenciam o texto gerado. Mostramos que esses modelos podem ser facilmente atacados, ou seja, induzidos a realizar comportamentos desalinhados arbitrários por meio de perturbações adversárias na imagem de entrada. Conjecturamos que ataques de PLN aprimorados podem demonstrar o mesmo nível de controle adversário sobre modelos de apenas texto.

English

Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study to what extent these models remain aligned, even when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.