Sprachschutz: Erforschung der adversariellen Robustheit von multimodalen großen Sprachmodellen

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Autoren: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Zusammenfassung

Integrierte Sprach- und Große Sprachmodelle (SLMs), die Sprachanweisungen folgen und relevante Textantworten generieren können, haben in letzter Zeit an Popularität gewonnen. Die Sicherheit und Robustheit dieser Modelle bleibt jedoch weitgehend unklar. In dieser Arbeit untersuchen wir potenzielle Schwachstellen solcher sprachgesteuerten Sprach- und Textmodelle gegenüber adversen Angriffen und Jailbreaking. Konkret entwerfen wir Algorithmen, die adversative Beispiele generieren können, um SLMs in sowohl White-Box- als auch Black-Box-Angriffsszenarien ohne menschliche Beteiligung zu jailbreaken. Darüber hinaus schlagen wir Gegenmaßnahmen vor, um solche Jailbreaking-Angriffe zu vereiteln. Unsere Modelle, die auf Dialogdaten mit Sprachanweisungen trainiert sind, erzielen Spitzenleistungen bei der gesprochenen Frage-Antwort-Aufgabe und erreichen über 80% bei Sicherheits- und Hilfsbereitschaftsmetriken. Trotz Sicherheitsvorkehrungen zeigen Experimente zum Jailbreaking die Anfälligkeit von SLMs gegenüber adversen Störungen und Transferangriffen auf, mit durchschnittlichen Angriffserfolgsraten von 90% bzw. 10%, wenn sie auf einem Datensatz sorgfältig gestalteter schädlicher Fragen aus 12 verschiedenen toxischen Kategorien evaluiert werden. Allerdings zeigen wir, dass unsere vorgeschlagenen Gegenmaßnahmen den Angriffserfolg signifikant reduzieren.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.