Le reti neurali allineate sono allineate in modo avversariale?

Are aligned neural networks adversarially aligned?

June 26, 2023

Autori: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt

cs.AI

Abstract

I grandi modelli linguistici sono ora sintonizzati per allinearsi agli obiettivi dei loro creatori, ovvero essere "utili e innocui". Questi modelli dovrebbero rispondere in modo utile alle domande degli utenti, ma rifiutarsi di rispondere a richieste che potrebbero causare danni. Tuttavia, utenti avversari possono costruire input che aggirano i tentativi di allineamento. In questo lavoro, studiamo in che misura questi modelli rimangono allineati, anche quando interagiscono con un utente avversario che costruisce input del caso peggiore (esempi avversari). Questi input sono progettati per indurre il modello a emettere contenuti dannosi che altrimenti sarebbero proibiti. Mostriamo che gli attacchi di ottimizzazione basati su NLP esistenti non sono sufficientemente potenti per attaccare in modo affidabile i modelli di testo allineati: anche quando gli attacchi NLP attuali falliscono, possiamo trovare input avversari con la forza bruta. Di conseguenza, il fallimento degli attacchi attuali non dovrebbe essere visto come una prova che i modelli di testo allineati rimangano allineati sotto input avversari. Tuttavia, la tendenza recente nei modelli ML su larga scala è rappresentata da modelli multimodali che consentono agli utenti di fornire immagini che influenzano il testo generato. Mostriamo che questi modelli possono essere facilmente attaccati, cioè indotti a comportarsi in modo arbitrariamente non allineato attraverso perturbazioni avversarie dell'immagine di input. Congetturiamo che attacchi NLP migliorati possano dimostrare lo stesso livello di controllo avversario sui modelli di solo testo.

English

Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study to what extent these models remain aligned, even when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.