Analisi delle Vulnerabilità di Sicurezza dei Modelli Audio-Linguistici di Grande Dimensione in Condizioni di Variazione Emotiva del Parlante

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

October 19, 2025

Autori: Bo-Han Feng, Chien-Feng Liu, Yu-Hsuan Li Liang, Chih-Kai Yang, Szu-Wei Fu, Zhehuai Chen, Ke-Han Lu, Sung-Feng Huang, Chao-Han Huck Yang, Yu-Chiang Frank Wang, Yun-Nung Chen, Hung-yi Lee

cs.AI

Abstract

I grandi modelli audio-linguistici (LALM) estendono i modelli linguistici di grandi dimensioni (LLM) basati su testo con la comprensione uditiva, offrendo nuove opportunità per applicazioni multimodali. Sebbene la loro percezione, ragionamento e prestazioni nelle attività siano state ampiamente studiate, il loro allineamento alla sicurezza in presenza di variazioni paralinguistiche rimane poco esplorato. Questo lavoro indaga sistematicamente il ruolo dell'emozione del parlante. Costruiamo un dataset di istruzioni vocali maligne espresse con diverse emozioni e intensità, e valutiamo diversi LALM all'avanguardia. I nostri risultati rivelano sostanziali incoerenze nella sicurezza: emozioni diverse suscitano livelli variabili di risposte non sicure, e l'effetto dell'intensità non è monotono, con espressioni di media intensità che spesso rappresentano il rischio maggiore. Questi risultati evidenziano una vulnerabilità trascurata nei LALM e richiedono strategie di allineamento progettate esplicitamente per garantire robustezza in caso di variazione emotiva, un prerequisito per un impiego affidabile in contesti reali.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.