SpeechGuard: Onderzoek naar de Adversariële Robuustheid van Multimodale Grote Taalmodellen

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Auteurs: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Samenvatting

Geïntegreerde spraak- en grote taalmodellen (SLMs) die spraakinstructies kunnen volgen en relevante tekstreacties kunnen genereren, hebben recentelijk aan populariteit gewonnen. De veiligheid en robuustheid van deze modellen blijven echter grotendeels onduidelijk. In dit werk onderzoeken we de potentiële kwetsbaarheden van dergelijke instructievolgende spraak-taalmodellen voor adversariële aanvallen en jailbreaking. Specifiek ontwerpen we algoritmen die adversariële voorbeelden kunnen genereren om SLMs te jailbreaken in zowel white-box als black-box aanvalscenario's zonder menselijke tussenkomst. Daarnaast stellen we tegenmaatregelen voor om dergelijke jailbreaking-aanvallen te voorkomen. Onze modellen, getraind op dialooggegevens met spraakinstructies, behalen state-of-the-art prestaties op de taak van gesproken vraagbeantwoording, met scores van meer dan 80% op zowel veiligheids- als behulpzaamheidsmetrieken. Ondanks veiligheidsmaatregelen tonen experimenten met jailbreaking de kwetsbaarheid van SLMs voor adversariële verstoringen en overdrachtsaanvallen aan, met gemiddelde aanvalssuccespercentages van respectievelijk 90% en 10% wanneer geëvalueerd op een dataset van zorgvuldig ontworpen schadelijke vragen die 12 verschillende toxische categorieën omvatten. We tonen echter aan dat onze voorgestelde tegenmaatregelen het aanvalssucces aanzienlijk verminderen.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.