Investigación de Vulnerabilidades de Seguridad en Grandes Modelos de Audio y Lenguaje ante Variaciones Emocionales del Hablante

Resumen

Los grandes modelos de audio-lenguaje (LALMs, por sus siglas en inglés) amplían los modelos de lenguaje basados en texto con capacidades de comprensión auditiva, ofreciendo nuevas oportunidades para aplicaciones multimodales. Si bien su percepción, razonamiento y rendimiento en tareas han sido ampliamente estudiados, su alineación de seguridad ante variaciones paralingüísticas sigue siendo un área poco explorada. Este trabajo investiga sistemáticamente el papel de la emoción del hablante. Construimos un conjunto de datos de instrucciones de voz maliciosas expresadas con múltiples emociones e intensidades, y evaluamos varios LALMs de vanguardia. Nuestros resultados revelan inconsistencias sustanciales en la seguridad: diferentes emociones provocan distintos niveles de respuestas inseguras, y el efecto de la intensidad no es monótono, siendo las expresiones medias las que a menudo presentan el mayor riesgo. Estos hallazgos destacan una vulnerabilidad pasada por alto en los LALMs y exigen estrategias de alineación diseñadas explícitamente para garantizar la robustez ante variaciones emocionales, un requisito previo para una implementación confiable en entornos del mundo real.

English

Large audio-language models (LALMs) extend text-based LLMs with auditory understanding, offering new opportunities for multimodal applications. While their perception, reasoning, and task performance have been widely studied, their safety alignment under paralinguistic variation remains underexplored. This work systematically investigates the role of speaker emotion. We construct a dataset of malicious speech instructions expressed across multiple emotions and intensities, and evaluate several state-of-the-art LALMs. Our results reveal substantial safety inconsistencies: different emotions elicit varying levels of unsafe responses, and the effect of intensity is non-monotonic, with medium expressions often posing the greatest risk. These findings highlight an overlooked vulnerability in LALMs and call for alignment strategies explicitly designed to ensure robustness under emotional variation, a prerequisite for trustworthy deployment in real-world settings.

Investigación de Vulnerabilidades de Seguridad en Grandes Modelos de Audio y Lenguaje ante Variaciones Emocionales del Hablante

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

Resumen

Support