SpeechGuard: Исследование адверсарной устойчивости мультимодальных крупных языковых моделей

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

May 14, 2024

Авторы: Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

cs.AI

Аннотация

Интегрированные модели речи и большие языковые модели (SLM), способные следовать инструкциям в речи и генерировать соответствующие текстовые ответы, недавно стали популярными. Однако безопасность и устойчивость этих моделей остаются в значительной степени неясными. В данной работе мы исследуем потенциальные уязвимости таких моделей языка, следующих за инструкциями, к атакам злоумышленников и обходу защиты. Конкретно, мы разрабатываем алгоритмы, способные генерировать вредоносные примеры для обхода защиты SLM как в настройках атаки "белого ящика", так и "черного ящика" без участия человека. Кроме того, мы предлагаем противодействие таким атакам на обход защиты. Наши модели, обученные на диалоговых данных с речевыми инструкциями, достигают передовых показателей производительности в задаче устного вопросно-ответного взаимодействия, набирая более 80% по метрикам безопасности и полезности. Несмотря на наличие механизмов безопасности, эксперименты по обходу защиты демонстрируют уязвимость SLM к вредоносным изменениям и атакам передачи, с средними показателями успешности атак в 90% и 10% соответственно при оценке на наборе данных из тщательно разработанных вредоносных вопросов, охватывающих 12 различных токсичных категорий. Тем не менее, мы демонстрируем, что наши предложенные противодействия существенно снижают успешность атак.

English

Integrated Speech and Large Language Models (SLMs) that can follow speech instructions and generate relevant text responses have gained popularity lately. However, the safety and robustness of these models remains largely unclear. In this work, we investigate the potential vulnerabilities of such instruction-following speech-language models to adversarial attacks and jailbreaking. Specifically, we design algorithms that can generate adversarial examples to jailbreak SLMs in both white-box and black-box attack settings without human involvement. Additionally, we propose countermeasures to thwart such jailbreaking attacks. Our models, trained on dialog data with speech instructions, achieve state-of-the-art performance on spoken question-answering task, scoring over 80% on both safety and helpfulness metrics. Despite safety guardrails, experiments on jailbreaking demonstrate the vulnerability of SLMs to adversarial perturbations and transfer attacks, with average attack success rates of 90% and 10% respectively when evaluated on a dataset of carefully designed harmful questions spanning 12 different toxic categories. However, we demonstrate that our proposed countermeasures reduce the attack success significantly.