RedVox: Brechas de Seguridad y Equidad en Modelos de Habla en Diferentes Idiomas

Resumen

Los modelos capaces de procesar voz se implementan cada vez más en aplicaciones del mundo real en múltiples idiomas. Sin embargo, su seguridad y equidad más allá del inglés y en condiciones naturalistas siguen siendo poco estudiadas. Examinamos las prácticas de reporte de seguridad en los lanzamientos de modelos de voz de última generación y encontramos que solo el 8% documenta algún análisis multilingüe. Para abordar esta brecha, presentamos RedVox, un punto de referencia multilingüe de seguridad y equidad para audio y voz basado en voces reales, que cubre solicitudes estereotípicas inseguras e injustas en cinco idiomas (inglés, francés, italiano, español y alemán). Al evaluar ocho modelos de última generación, encontramos que las vulnerabilidades persisten incluso en condiciones no adversariales, empeoran en idiomas distintos al inglés y se ven amplificadas cuando la solicitud proviene de una entrada hablada. Finalmente, mediante una encuesta a los participantes que contribuyeron a RedVox, documentamos los desafíos personales y de privacidad únicos que implica la recolección de datos de voz con participantes humanos, señalando desafíos sociotécnicos más amplios en la investigación naturalista de seguridad en el habla.

English

Speech-capable models are increasingly deployed in real-world applications across languages. Yet their safety and fairness beyond English settings and under naturalistic conditions remain understudied. We survey safety reporting practices across state-of-the-art speech model releases, finding that only 8% document any multilingual analysis. To address this gap, we introduce RedVox, a multilingual safety and fairness benchmark for audio and speech built on real voices, covering unsafe and unfair stereotypical requests across five languages (English, French, Italian, Spanish, and German). Evaluating eight state-of-the-art models, we find that vulnerabilities persist even under non-adversarial conditions, worsen in non-English languages, and are amplified when the request comes from a spoken input. Finally, by surveying the participants who contributed to RedVox, we document the unique personal and privacy challenges of collecting speech data with human participants, pointing to broader sociotechnical challenges in naturalistic speech safety research.