Investigação de Vulnerabilidades de Segurança em Grandes Modelos de Áudio e Linguagem Sob Variações Emocionais do Locutor

Resumo

Os grandes modelos de áudio-linguagem (LALMs) estendem os LLMs baseados em texto com compreensão auditiva, oferecendo novas oportunidades para aplicações multimodais. Embora sua percepção, raciocínio e desempenho em tarefas tenham sido amplamente estudados, seu alinhamento de segurança sob variações paralinguísticas permanece pouco explorado. Este trabalho investiga sistematicamente o papel da emoção do locutor. Construímos um conjunto de dados de instruções de fala maliciosas expressas em múltiplas emoções e intensidades, e avaliamos vários LALMs state-of-the-art. Nossos resultados revelam inconsistências substanciais de segurança: diferentes emoções eliciam níveis variados de respostas inseguras, e o efeito da intensidade é não monotônico, com expressões médias frequentemente representando o maior risco. Essas descobertas destacam uma vulnerabilidade negligenciada nos LALMs e exigem estratégias de alinhamento explicitamente projetadas para garantir robustez sob variação emocional, um pré-requisito para implantação confiável em ambientes do mundo real.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.

Investigação de Vulnerabilidades de Segurança em Grandes Modelos de Áudio e Linguagem Sob Variações Emocionais do Locutor

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

Resumo

Support