Zijn uitgelijnde neurale netwerken adversarieel uitgelijnd?

Are aligned neural networks adversarially aligned?

June 26, 2023

Auteurs: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt

cs.AI

Samenvatting

Grote taalmodelen worden nu afgestemd om in lijn te zijn met de doelen van hun makers, namelijk om "behulpzaam en onschadelijk" te zijn. Deze modellen moeten behulpzaam reageren op gebruikersvragen, maar weigeren om verzoeken te beantwoorden die schade kunnen veroorzaken. Echter kunnen tegenstanders inputs construeren die pogingen tot afstemming omzeilen. In dit werk onderzoeken we in hoeverre deze modellen afgestemd blijven, zelfs wanneer ze interacteren met een tegenstander die worst-case inputs (adversariale voorbeelden) construeert. Deze inputs zijn ontworpen om het model schadelijke inhoud te laten produceren die anders verboden zou zijn. We tonen aan dat bestaande NLP-gebaseerde optimalisatieaanvallen onvoldoende krachtig zijn om afgestemde tekstmodellen betrouwbaar aan te vallen: zelfs wanneer huidige NLP-gebaseerde aanvallen falen, kunnen we adversariale inputs vinden met brute kracht. Als gevolg hiervan mag het falen van huidige aanvallen niet worden gezien als bewijs dat afgestemde tekstmodellen onder adversariale inputs afgestemd blijven. Echter is de recente trend in grootschalige ML-modellen de opkomst van multimodale modellen die gebruikers in staat stellen afbeeldingen te leveren die de gegenereerde tekst beïnvloeden. We tonen aan dat deze modellen eenvoudig kunnen worden aangevallen, d.w.z. dat ze kunnen worden aangezet tot willekeurig niet-afgestemd gedrag door adversariale verstoring van de invoerafbeelding. We vermoeden dat verbeterde NLP-aanvallen hetzelfde niveau van adversariale controle over tekstmodellen kunnen aantonen.

English

Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study to what extent these models remain aligned, even when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.