SpeechGuard: Explorando a Robustez Adversarial de Modelos de Linguagem Multimodais de Grande Escala

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Autores: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Resumo

Modelos Integrados de Fala e Linguagem de Grande Escala (SLMs) que podem seguir instruções de fala e gerar respostas textuais relevantes têm ganhado popularidade recentemente. No entanto, a segurança e a robustez desses modelos permanecem amplamente desconhecidas. Neste trabalho, investigamos as potenciais vulnerabilidades desses modelos de linguagem de fala que seguem instruções a ataques adversariais e jailbreaking. Especificamente, projetamos algoritmos que podem gerar exemplos adversariais para realizar jailbreaking em SLMs tanto em cenários de ataque de caixa branca quanto de caixa preta, sem envolvimento humano. Além disso, propomos contramedidas para impedir tais ataques de jailbreaking. Nossos modelos, treinados em dados de diálogo com instruções de fala, alcançam desempenho de ponta na tarefa de resposta a perguntas faladas, obtendo mais de 80% em ambas as métricas de segurança e utilidade. Apesar das salvaguardas de segurança, experimentos de jailbreaking demonstram a vulnerabilidade dos SLMs a perturbações adversariais e ataques de transferência, com taxas médias de sucesso de ataque de 90% e 10%, respectivamente, quando avaliados em um conjunto de dados de perguntas prejudiciais cuidadosamente projetadas, abrangendo 12 categorias tóxicas diferentes. No entanto, demonstramos que nossas contramedidas propostas reduzem significativamente a taxa de sucesso dos ataques.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.