Onderzoek naar veiligheidskwetsbaarheden van grote audio-taalmodellen bij emotionele variaties van sprekers

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

October 19, 2025

Auteurs: Bo-Han Feng, Chien-Feng Liu, Yu-Hsuan Li Liang, Chih-Kai Yang, Szu-Wei Fu, Zhehuai Chen, Ke-Han Lu, Sung-Feng Huang, Chao-Han Huck Yang, Yu-Chiang Frank Wang, Yun-Nung Chen, Hung-yi Lee

cs.AI

Samenvatting

Grote audio-taalmodellen (LALMs) breiden tekstgebaseerde grote taalmodellen uit met auditief begrip, wat nieuwe mogelijkheden biedt voor multimodale toepassingen. Hoewel hun waarneming, redeneervermogen en taakprestaties uitgebreid zijn bestudeerd, blijft hun veiligheidsafstemming onder paralinguïstische variatie onderbelicht. Dit werk onderzoekt systematisch de rol van sprekersemotie. We construeren een dataset van kwaadaardige spraakinstructies uitgedrukt in verschillende emoties en intensiteiten, en evalueren verschillende state-of-the-art LALMs. Onze resultaten onthullen aanzienlijke veiligheidsinconsistenties: verschillende emoties lokken uiteenlopende niveaus van onveilige reacties uit, en het effect van intensiteit is niet-monotoon, waarbij medium expressies vaak het grootste risico vormen. Deze bevindingen belichten een over het hoofd geziene kwetsbaarheid in LALMs en pleiten voor afstemmingsstrategieën die expliciet zijn ontworpen om robuustheid onder emotionele variatie te waarborgen, een vereiste voor betrouwbare inzet in realistische situaties.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.