SpeechGuard: Esplorare la Robustezza Adversarial dei Modelli Linguistici Multimodali di Grande Scala

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Autori: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Abstract

I modelli integrati di linguaggio e parlato (SLM) in grado di seguire istruzioni vocali e generare risposte testuali pertinenti hanno guadagnato popolarità di recente. Tuttavia, la sicurezza e la robustezza di questi modelli rimangono in gran parte incerte. In questo lavoro, indaghiamo le potenziali vulnerabilità di tali modelli linguistici basati su istruzioni vocali agli attacchi avversari e al jailbreaking. Nello specifico, progettiamo algoritmi in grado di generare esempi avversari per effettuare jailbreaking degli SLM sia in contesti di attacco white-box che black-box senza il coinvolgimento umano. Inoltre, proponiamo contromisure per contrastare tali attacchi di jailbreaking. I nostri modelli, addestrati su dati di dialogo con istruzioni vocali, raggiungono prestazioni all'avanguardia nel task di risposta a domande vocali, ottenendo punteggi superiori all'80% sia nelle metriche di sicurezza che di utilità. Nonostante le misure di sicurezza, gli esperimenti sul jailbreaking dimostrano la vulnerabilità degli SLM alle perturbazioni avversarie e agli attacchi di trasferimento, con tassi di successo medio rispettivamente del 90% e del 10% quando valutati su un dataset di domande dannose accuratamente progettate, che coprono 12 diverse categorie di contenuti tossici. Tuttavia, dimostriamo che le nostre contromisure proposte riducono significativamente il tasso di successo degli attacchi.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.