Étude des vulnérabilités de sécurité des grands modèles audio-linguistiques face aux variations émotionnelles du locuteur

papers.abstract

Les grands modèles audio-linguistiques (LALM) étendent les modèles de langue basés sur le texte avec une compréhension auditive, offrant de nouvelles opportunités pour les applications multimodales. Bien que leur perception, leur raisonnement et leurs performances sur les tâches aient été largement étudiés, leur alignement sécuritaire face aux variations paralinguistiques reste peu exploré. Ce travail étudie systématiquement le rôle de l'émotion du locuteur. Nous construisons un jeu de données d'instructions vocales malveillantes exprimées avec diverses émotions et intensités, et évaluons plusieurs LALM de pointe. Nos résultats révèlent des incohérences substantielles en matière de sécurité : différentes émotions provoquent des niveaux variables de réponses non sécurisées, et l'effet de l'intensité est non monotone, les expressions moyennes présentant souvent le risque le plus élevé. Ces résultats mettent en lumière une vulnérabilité négligée des LALM et appellent à des stratégies d'alignement explicitement conçues pour garantir la robustesse face aux variations émotionnelles, un prérequis pour un déploiement fiable dans des environnements réels.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.

Étude des vulnérabilités de sécurité des grands modèles audio-linguistiques face aux variations émotionnelles du locuteur

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

papers.abstract

Support