SpeechGuard: Explorando la Robustez Adversaria de Modelos de Lenguaje Multimodales a Gran Escala

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Autores: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Resumen

Los modelos integrados de habla y lenguaje de gran escala (SLM, por sus siglas en inglés) que pueden seguir instrucciones de voz y generar respuestas de texto relevantes han ganado popularidad recientemente. Sin embargo, la seguridad y robustez de estos modelos sigue siendo en gran medida incierta. En este trabajo, investigamos las posibles vulnerabilidades de estos modelos de lenguaje basados en instrucciones de voz frente a ataques adversarios y técnicas de "jailbreaking". Específicamente, diseñamos algoritmos capaces de generar ejemplos adversarios para realizar jailbreaking en SLM tanto en escenarios de ataque de caja blanca como de caja negra, sin intervención humana. Además, proponemos contramedidas para contrarrestar dichos ataques de jailbreaking. Nuestros modelos, entrenados con datos de diálogo que incluyen instrucciones de voz, alcanzan un rendimiento de vanguardia en tareas de respuesta a preguntas habladas, obteniendo puntuaciones superiores al 80% en métricas de seguridad y utilidad. A pesar de las medidas de seguridad implementadas, los experimentos de jailbreaking demuestran la vulnerabilidad de los SLM a perturbaciones adversarias y ataques por transferencia, con tasas de éxito promedio del 90% y 10%, respectivamente, cuando se evalúan en un conjunto de preguntas dañinas cuidadosamente diseñadas que abarcan 12 categorías tóxicas diferentes. Sin embargo, demostramos que nuestras contramedidas propuestas reducen significativamente la tasa de éxito de los ataques.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.