Исследование уязвимостей безопасности крупных аудио-языковых моделей при вариациях эмоциональной окраски речи диктора

Аннотация

Крупные аудиолингвистические модели (LALMs) расширяют текстовые языковые модели за счет слухового восприятия, открывая новые возможности для мультимодальных приложений. Хотя их перцептивные способности, логическое мышление и производительность при решении задач широко изучены, безопасность их настройки в условиях паралингвистических вариаций остается малоисследованной. В данной работе систематически исследуется роль эмоциональной окраски речи. Мы создали набор данных вредоносных речевых инструкций, выраженных с различными эмоциями и интенсивностью, и оценили несколько передовых LALMs. Наши результаты выявляют существенные несоответствия в безопасности: разные эмоции вызывают различные уровни небезопасных ответов, а влияние интенсивности носит немонотонный характер, причем средние уровни экспрессии часто представляют наибольший риск. Эти результаты подчеркивают уязвимость LALMs, которой ранее пренебрегали, и указывают на необходимость разработки стратегий выравнивания, специально предназначенных для обеспечения устойчивости при эмоциональных вариациях, что является обязательным условием для надежного развертывания в реальных условиях.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.

Исследование уязвимостей безопасности крупных аудио-языковых моделей при вариациях эмоциональной окраски речи диктора

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

Аннотация

Support