SpeechGuard : Exploration de la robustesse adversarial des modèles de langage multimodaux de grande taille

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Auteurs: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Résumé

Les modèles intégrés de parole et de langage (SLMs) capables de suivre des instructions vocales et de générer des réponses textuelles pertinentes ont gagné en popularité récemment. Cependant, la sécurité et la robustesse de ces modèles restent largement incertaines. Dans ce travail, nous étudions les vulnérabilités potentielles de ces modèles de langage basés sur la parole face aux attaques adverses et au jailbreaking. Plus précisément, nous concevons des algorithmes capables de générer des exemples adverses pour jailbreaker les SLMs dans des contextes d'attaque en boîte blanche et en boîte noire sans intervention humaine. De plus, nous proposons des contre-mesures pour contrer ces attaques de jailbreaking. Nos modèles, entraînés sur des données de dialogue avec des instructions vocales, atteignent des performances de pointe dans la tâche de réponse à des questions orales, obtenant des scores supérieurs à 80 % sur les métriques de sécurité et d'utilité. Malgré les dispositifs de sécurité, les expériences sur le jailbreaking démontrent la vulnérabilité des SLMs aux perturbations adverses et aux attaques par transfert, avec des taux de réussite moyens de 90 % et 10 % respectivement, évalués sur un ensemble de questions nuisibles soigneusement conçues couvrant 12 catégories toxiques différentes. Cependant, nous montrons que nos contre-mesures proposées réduisent significativement le taux de réussite des attaques.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.