Untersuchung von Sicherheitslücken großer Audio-Sprach-Modelle unter emotionalen Sprechervariationen

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

October 19, 2025

papers.authors: Bo-Han Feng, Chien-Feng Liu, Yu-Hsuan Li Liang, Chih-Kai Yang, Szu-Wei Fu, Zhehuai Chen, Ke-Han Lu, Sung-Feng Huang, Chao-Han Huck Yang, Yu-Chiang Frank Wang, Yun-Nung Chen, Hung-yi Lee

cs.AI

papers.abstract

Große Audio-Sprach-Modelle (LALMs) erweitern textbasierte LLMs um auditives Verständnis und eröffnen neue Möglichkeiten für multimodale Anwendungen. Während ihre Wahrnehmungsfähigkeiten, Schlussfolgerungskompetenz und Aufgabenleistung bereits umfassend untersucht wurden, bleibt ihre Sicherheitsausrichtung unter paralinguistischer Variation weitgehend unerforscht. Diese Arbeit untersucht systematisch die Rolle von Sprecheremotionen. Wir erstellen einen Datensatz mit bösartigen Sprachinstruktionen, die in verschiedenen Emotionen und Intensitäten ausgedrückt werden, und evaluieren mehrere state-of-the-art LALMs. Unsere Ergebnisse zeigen erhebliche Sicherheitsinkonsistenzen: Unterschiedliche Emotionen lösen unterschiedlich starke unsichere Antworten aus, und der Effekt der Intensität verläuft nicht-monoton, wobei mittlere Ausdrucksstärken oft das größte Risiko darstellen. Diese Erkenntnisse beleuchten eine übersehene Schwachstelle in LALMs und fordern Sicherheitsstrategien, die explizit für Robustheit unter emotionaler Variation konzipiert sind – eine Voraussetzung für den vertrauenswürdigen Einsatz in realen Umgebungen.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.